我想收集网上某种商品的价格供用户查询,比如Canon EOS 5D Mark III Camera,然后 给用户提供价格,就像pricegrabber那样。一般的做法是我直接crawl所有的网站,然 后建立一个数据库来查询。但是一般的网站都不让你crawl,比如amazon.所以我想能不 能让用户来查询的时候,从google拿到商品的链接然后用用户的ip去download那个页面 在extract价格之类的信息,然后返回给用户?
a9
3 楼
用ajax抓页面就可以了,不过你保证不了别人给你填假数据。
【在 l******n 的大作中提到】 : 我想收集网上某种商品的价格供用户查询,比如Canon EOS 5D Mark III Camera,然后 : 给用户提供价格,就像pricegrabber那样。一般的做法是我直接crawl所有的网站,然 : 后建立一个数据库来查询。但是一般的网站都不让你crawl,比如amazon.所以我想能不 : 能让用户来查询的时候,从google拿到商品的链接然后用用户的ip去download那个页面 : 在extract价格之类的信息,然后返回给用户?