网站数据猎取技术 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Database - 数据库

网站数据猎取技术

网站数据猎取技术# Database - 数据库

t*k2001-02-07 08:02

1 楼

各位大侠，下面方案不知可行否？
对于一些网站，比如中国医药市场信息网
http://www.chinapharm.com.cn/cgi-bin/search/TypeSearch.asp?typeid=100
这有很多医药产品，我能不能把它所有
产品信息包括产家信息都取出来？
当然不是一次一页取。
或者自己写个程序能调用网站上的查询程序？
是要实时查，不是用offline之类的下载整个网站。
当然网站更新后，我写的能够不改最好。
有没有这样的东东或技术能取好多网站的？

c*v2001-02-07 08:02

2 楼

the thing you have mentioned is called web spider or
something similar. It is not hard to implement. You can use
the free gnu tool wget as your engine and write the front
end yourself.

【在 t********k 的大作中提到】

: 各位大侠，下面方案不知可行否？
: 对于一些网站，比如中国医药市场信息网
: http://www.chinapharm.com.cn/cgi-bin/search/TypeSearch.asp?typeid=100
: 这有很多医药产品，我能不能把它所有
: 产品信息包括产家信息都取出来？
: 当然不是一次一页取。
: 或者自己写个程序能调用网站上的查询程序？
: 是要实时查，不是用offline之类的下载整个网站。
: 当然网站更新后，我写的能够不改最好。
: 有没有这样的东东或技术能取好多网站的？