Redian新闻
>
如何实现批量自动下载网页上的连接? (转载)
avatar
如何实现批量自动下载网页上的连接? (转载)# Software - 软件世界
n*e
1
【 以下文字转载自 Internet 讨论区 】
发信人: neaptide (tides), 信区: Internet
标 题: 如何实现批量自动下载网页上的连接?
发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
实现这种操作?需要用何种语言?非常感谢!
avatar
j*n
2
看样子编程好了,语言嘛,任意一种高级语言都可以,java、C#……

【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接?
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
: ,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
: 接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
: 方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
: 实现这种操作?需要用何种语言?非常感谢!

avatar
p*w
3
看样子是要编点小程序

【在 j***n 的大作中提到】
: 看样子编程好了,语言嘛,任意一种高级语言都可以,java、C#……
avatar
c*t
4
wget

【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接?
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
: ,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
: 接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
: 方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
: 实现这种操作?需要用何种语言?非常感谢!

avatar
f*e
5
用perl,python等脚本语言编就行了,我猜。如果你用Windows的话,建议你再装个Cygw
in,这样wget等工具就都全了

【在 n******e 的大作中提到】
: 【 以下文字转载自 Internet 讨论区 】
: 发信人: neaptide (tides), 信区: Internet
: 标 题: 如何实现批量自动下载网页上的连接?
: 发信站: BBS 未名空间站 (Tue Jan 15 12:14:45 2008)
: 我的论文工作需要从一个网站上下载大量的气象数据,这些数据都是免费的。可问题是
: ,我需要下载几年的数据,而网站上只提供每天数据的连接,因此我需要依此把这些连
: 接打开,然后再逐个把数据copy下来,实在是太浪费时间了。请问有什么好的软件或者
: 方法,可是实现对这些数据的自动下载?或者,能不能编写一个自动下载的网页程序来
: 实现这种操作?需要用何种语言?非常感谢!

avatar
A*a
6
很多很多年前,就有下网站的软件了,可以选文件类型,可以选下载多少层链接等等。
太久没用,我记不得名字了,自己搜搜吧,不要写了。
avatar
s*f
7
推荐 irobotsoft,它有很方便的网页内容提取功能。几乎不需要什么编程功底就能用
avatar
S*0
8
对动态的东西有效果吗?
会解析js的结果吗?

【在 s*****f 的大作中提到】
: 推荐 irobotsoft,它有很方便的网页内容提取功能。几乎不需要什么编程功底就能用
: 。

avatar
s*f
9
会的。它用的是内置 IE 浏览器,但你即可以让它从源码中提取数据,也可以从解析过
的代码中提取。提取时可以用宏记录功能自动生成提取动作。然后你只要把提取出来的
数据输出到数据库或文本里。
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。