如何实现批量自动下载网页上的连接？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Internet - 有缘千里一线牵

如何实现批量自动下载网页上的连接？

如何实现批量自动下载网页上的连接？# Internet - 有缘千里一线牵

n*e2008-01-15 08:01

1 楼

我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
实现这种操作？需要用何种语言？非常感谢！

k*a2008-01-15 08:01

2 楼

我以前用acrobat下载过那种网站上的电子书，情况和你的差不多。一本书分好多章，
每章又分好多节，用ACROBAT直接粘贴那本书的URL，下载就行了，所有的章节都会下来
。具体方法忘了，你可以自己弄弄看。

a*n2008-01-15 08:01

3 楼

看这个网站，如果只是简单的序号，那么多数下载软件比如flashget之类就
都可以胜任。如果连街的文字有一定规律，可以用诸如offline explore之类
的东西下载，然后把数据揪出来。或者可以用perl之类的语言，可以去编程版问问。

【在 n******e 的大作中提到】

: 我的论文工作需要从一个网站上下载大量的气象数据，这些数据都是免费的。可问题是
: ，我需要下载几年的数据，而网站上只提供每天数据的连接，因此我需要依此把这些连
: 接打开，然后再逐个把数据copy下来，实在是太浪费时间了。请问有什么好的软件或者
: 方法，可是实现对这些数据的自动下载？或者，能不能编写一个自动下载的网页程序来
: 实现这种操作？需要用何种语言？非常感谢！