自动分析网页的Python 库？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

自动分析网页的Python 库？

自动分析网页的Python 库？# Programming - 葵花宝典

n*22014-08-18 07:08

1 楼

有没有方便的Python 库用来自动分析一个复杂的网页？
比如，有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
绝。如果有一个方便的工具能自动分析该网页，然后自动构建合适的Post，那就比较
方便了。
再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件？如果有一个方便的工具能自动分析该网页，然后自动构建合适的request，那就比较方便了。
如果 Python 没有这样的库，别的语言（比如Java 或者JavaScript）也是可以的。
谢谢。

a92014-08-18 07:08

2 楼

用fiddler，charles抓一下包。
或者直接用chrome分析一下也行。

【在 n*********2 的大作中提到】

: 有没有方便的Python 库用来自动分析一个复杂的网页？
: 比如，有的复杂网页需要比较复杂的Form Post, 不符合该网页的 Post 会被服务器拒
: 绝。如果有一个方便的工具能自动分析该网页，然后自动构建合适的Post，那就比较
: 方便了。
: 再比如http://www.kuwo.cn/yinyue/1846021/ 怎样才能下载这个网页里的音乐文件？如果有一个方便的工具能自动分析该网页，然后自动构建合适的request，那就比较方便了。
: 如果 Python 没有这样的库，别的语言（比如Java 或者JavaScript）也是可以的。
: 谢谢。

n*22014-08-18 07:08

3 楼

谢谢回复。
这个感觉还是太底层了点，感觉需要很多劳力。而且每个网站都不同，来一个新的网站
，就得从头再来。
有没有一些库将这些步骤自动化（减少人工干预）？

【在 a9 的大作中提到】

: 用fiddler，charles抓一下包。
: 或者直接用chrome分析一下也行。