com上搜索关键字 - 未名空间MITBBS历史存档

com上搜索关键字

o*g2018-01-25 08:01

1 楼

在http://weixin.sogou.com上搜索关键字，能得到文章列表。但是一般的爬虫只能获得前十个文章，看了一下，主要是获得的html 上只有前十篇文章。但是其实不登录能得到十页文章列表，每页文章列表有十篇文章。更多的文章要登录才能看到。
如在微信搜狗上搜索python
http://weixin.sogou.com/weixin?query=python&_sug_type_=&sut=1707&lkt=7%2C1516917507808%2C1516917509454&s_from=input&_sug_=y&type=2&sst0=1516917509569&page=10&ie=utf8&w=01019900&dr=1
如何得到全部搜索结果的文章html 列表? 有什么技术？在这种需要登录的情况下。
看到这个代码。但是它弄得是公众号主页，我是搜索关键字。
http://blog.csdn.net/qiqiyingse/article/details/70050113
怎么弄?多谢！

c*n2018-01-25 08:01

2 楼

你可以一步一步仿造登陆
或者直接用这个大杀器除非这网站还靠煎查webgl是否开启来防虫。。。
https://duo.com/blog/driving-headless-chrome-with-python

【在 o****g 的大作中提到】

: 在http://weixin.sogou.com上搜索关键字，能得到文章列表。但是一般的爬虫只能获得前十个文章，看了一下，主要是获得的html 上只有前十篇文章。但是其实不登录能得到十页文章列表，每页文章列表有十篇文章。更多的文章要登录才能看到。
: 如在微信搜狗上搜索python
: http://weixin.sogou.com/weixin?query=python&_sug_type_=&sut=1707&lkt=7%2C1516917507808%2C1516917509454&s_from=input&_sug_=y&type=2&sst0=1516917509569&page=10&ie=utf8&w=01019900&dr=1
: 如何得到全部搜索结果的文章html 列表? 有什么技术？在这种需要登录的情况下。
: 看到这个代码。但是它弄得是公众号主页，我是搜索关键字。
: http://blog.csdn.net/qiqiyingse/article/details/70050113
: 怎么弄?多谢！

o*g2018-01-25 08:01

3 楼

多谢，我也看到一些模拟登录的文章 selenium

【在 c******n 的大作中提到】

: 你可以一步一步仿造登陆
: 或者直接用这个大杀器除非这网站还靠煎查webgl是否开启来防虫。。。
: https://duo.com/blog/driving-headless-chrome-with-python