web scraper - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

web scraper

web scraper# Programming - 葵花宝典

z*t2014-10-05 07:10

1 楼

从DOS收到 No objection Letter到发出Favorable Recommendation 只花了9天，这个
快点是不是有点夸张了？我看一般都要1个多月的。
Recommendation Sent February 13, 2015
No Objection Statement Received February 04, 2015

s*o2014-10-05 07:10

2 楼

中国护照过期h1b签证想去香港旅游加签证没有港澳通行证只有美国香港
往返机票不去大陆香港入境会有问题吗不是中转可以停留七天吗还是我要骗他说
我过几天坐汽车回大陆不会直接把我遣送回深圳吧……
谢谢

r*n2014-10-05 07:10

3 楼

1.只有意念才制造业力，走路无心踩死蚂蚁，因为是完全无心的，所以不会有任何业力
。但这并不是说蚂蚁活该被踩死，或者走路从来不需要留心。
2.没有所谓的业力均摊分配，比如杀一头牛，并最后送到市场销售，这个牛死亡的业力
不会被分摊到养牛者，屠宰者，输运者，买卖者。。。
3。直接用刀杀死一头牛，和用麻醉药杀死一头牛，尽量避免牛的痛苦，这两种所造成
的业力是不一样的。
4.在别人背后放冷枪，导致对方死亡，这并不是没有业力，而是有大业力，因为在别人
背后放冷枪杀人的，必然有很强的恶心所，这种恶心所造成的业一旦成熟，则必然受业
。比如堕恶道。
为了避免造恶业，应尽量检查自己的意念，守护诸根。

x*62014-10-05 07:10

4 楼

Hi,
Anyone knows a good web scraper that can handle dynamic web pages, i.e.
contents generated by javascripts?
I couldn't find any.
If one has to do this by himself, what kinds of framework/package would
you recommend?
Thanks,

o*p2014-10-05 07:10

5 楼

羡慕嫉妒。。。。。。不恨
恭喜恭喜

W*i2014-10-05 07:10

6 楼

充满想像. Runsun特色. 3d........3d........ :)

【在 r****n 的大作中提到】

: 1.只有意念才制造业力，走路无心踩死蚂蚁，因为是完全无心的，所以不会有任何业力
: 。但这并不是说蚂蚁活该被踩死，或者走路从来不需要留心。
: 2.没有所谓的业力均摊分配，比如杀一头牛，并最后送到市场销售，这个牛死亡的业力
: 不会被分摊到养牛者，屠宰者，输运者，买卖者。。。
: 3。直接用刀杀死一头牛，和用麻醉药杀死一头牛，尽量避免牛的痛苦，这两种所造成
: 的业力是不一样的。
: 4.在别人背后放冷枪，导致对方死亡，这并不是没有业力，而是有大业力，因为在别人
: 背后放冷枪杀人的，必然有很强的恶心所，这种恶心所造成的业一旦成熟，则必然受业
: 。比如堕恶道。
: 为了避免造恶业，应尽量检查自己的意念，守护诸根。

w*k2014-10-05 07:10

7 楼

Selenium
Or
Requests
And
Beatifulsoup

【在 x******6 的大作中提到】

: Hi,
: Anyone knows a good web scraper that can handle dynamic web pages, i.e.
: contents generated by javascripts?
: I couldn't find any.
: If one has to do this by himself, what kinds of framework/package would
: you recommend?
: Thanks,

s*52014-10-05 07:10

8 楼

是啊，目前见过的最迅速的，楼主运气超好！

b*e2014-10-05 07:10

9 楼

Check out phantomJS.

【在 x******6 的大作中提到】

f*o2014-10-05 07:10

10 楼

运气好啊，发包子！沾喜气！

S*A2014-10-05 07:10

11 楼

+1 on Selenium.

【在 w****k 的大作中提到】

: Selenium
: Or
: Requests
: And
: Beatifulsoup

t*u2014-10-05 07:10

12 楼

春天来了

x*62014-10-05 07:10

13 楼

Thank you all!

s*a2014-10-05 07:10

14 楼

我的也是，今天刚查到的，之前都懒得去查...

D*r2014-10-05 07:10

15 楼

i use python mechenize module, and simulate javascript interactions by
watching the packets exchanged.
the last time i checked watir and selenium cannot really do headless browser
simulation well. and no good javascript simulators were available back then.

【在 x******6 的大作中提到】

D*r2014-10-05 07:10

16 楼

+1 Requests & Beatifulsoup

【在 S*A 的大作中提到】

:
: +1 on Selenium.