要爬虫一个网页，搜索一次关键词能有100页搜索结果# JobHunting - 待字闺中
o*g
1 楼
要爬虫一个网页，搜索一次关键词能有100页搜索结果，要爬虫所有这100页网页，但是
对方反爬虫，scraping 一会网页后就block ip 了。问一下如何反 反爬虫？有什么方
法？好像能simulate cookies, 模拟登录?
试了这个方法，但是有error.
http://blog.csdn.net/mr_guo_lei/article/details/78570744
多谢！
对方反爬虫，scraping 一会网页后就block ip 了。问一下如何反 反爬虫？有什么方
法？好像能simulate cookies, 模拟登录?
试了这个方法，但是有error.
http://blog.csdn.net/mr_guo_lei/article/details/78570744
多谢！
