java 抓取网页内容 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Java - 爪哇娇娃

java 抓取网页内容

java 抓取网页内容# Java - 爪哇娇娃

s*l2014-10-24 07:10

1 楼

有好几种办法，想实现一个网站自动下单的功能，目前用的是selinum，但是不太稳定
有好点的办法吗？
需要登录网站的账户，然后加入物品到购物车，输入各种信息后结账

k*n2014-10-24 07:10

2 楼

呵呵，我第一次看到selinum 的时候也觉得这个是神医必备的工具。
不稳定是网页有更新的时候你的dom element会变化。
你可以写一个selinum test，自动完成login，输信息，结账，最后一部cancel。设成
每天run一次，一旦fail就发email给自己提醒上去更改。

s*l2014-10-24 07:10

3 楼

good idea!
我是想有没有更好点更稳定点的办法，selinum还是有点慢，是不是可以和httpclient
结合起来？
经常因为抓不到网页的内容（element not find）报错

【在 k******n 的大作中提到】

: 呵呵，我第一次看到selinum 的时候也觉得这个是神医必备的工具。
: 不稳定是网页有更新的时候你的dom element会变化。
: 你可以写一个selinum test，自动完成login，输信息，结账，最后一部cancel。设成
: 每天run一次，一旦fail就发email给自己提醒上去更改。

k*n2014-10-24 07:10

4 楼

可以通过改善xpath selector提高稳定性。
httpclient估计会比较难，商业网站一般都是jsp生成html，你一般需要分析html。
你可以试试直接call summit form。