htmlunit及多线程问题# Java - 爪哇娇娃
G*A
1 楼
今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
b*d
2 楼
前几天在诸位大牛指导下做了个网络爬虫。
开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
请大虾指点如果优化程序
开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
请大虾指点如果优化程序
g*e
3 楼
这么多！
g*g
4 楼
打印一些timestamp出来看看哪里慢了。
mem/
【在 b******d 的大作中提到】
: 前几天在诸位大牛指导下做了个网络爬虫。
: 开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
: ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
: 请大虾指点如果优化程序
mem/
【在 b******d 的大作中提到】
: 前几天在诸位大牛指导下做了个网络爬虫。
: 开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
: ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
: 请大虾指点如果优化程序
G*A
5 楼
我也很surprise 有这么多，听了张老三的，打算抓一个礼拜。
【在 g*****e 的大作中提到】
: 这么多！
【在 g*****e 的大作中提到】
: 这么多！
b*d
6 楼
multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
的十几倍。
【在 g*****g 的大作中提到】
: 打印一些timestamp出来看看哪里慢了。
:
: mem/
主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
的十几倍。
【在 g*****g 的大作中提到】
: 打印一些timestamp出来看看哪里慢了。
:
: mem/
a*a
7 楼
养鸡啊, 这么多高蛋白
r*l
8 楼
1. Check if CPU is fully loaded.
2. Check if memory is used up.
From your symptom, looks like memory issue. Use jmap to dump heap and use
jhat to analyze memory usage.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
2. Check if memory is used up.
From your symptom, looks like memory issue. Use jmap to dump heap and use
jhat to analyze memory usage.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
G*A
9 楼
鸡吃这个？可把鸡放出来鸡不先把菜都吃光了。已经买了鸡粪，真怕版上那天会旋起买
鸡的风。
鸡的风。
b*d
10 楼
thanks.
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。
【在 r*****l 的大作中提到】
: 1. Check if CPU is fully loaded.
: 2. Check if memory is used up.
: From your symptom, looks like memory issue. Use jmap to dump heap and use
: jhat to analyze memory usage.
:
: exception
: 512m
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。
【在 r*****l 的大作中提到】
: 1. Check if CPU is fully loaded.
: 2. Check if memory is used up.
: From your symptom, looks like memory issue. Use jmap to dump heap and use
: jhat to analyze memory usage.
:
: exception
: 512m
L*A
11 楼
我今年春天就是这样连着捉了１个星期就给捉绝了！鼓励MM坚持住。
g*g
12 楼
See if you can switch to google app engine.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
a*a
13 楼
你提醒我了,可能鸡眼神不好,不喜欢吃这个,鼻涕虫应该是透明的???
【在 G********A 的大作中提到】
: 鸡吃这个？可把鸡放出来鸡不先把菜都吃光了。已经买了鸡粪，真怕版上那天会旋起买
: 鸡的风。
【在 G********A 的大作中提到】
: 鸡吃这个？可把鸡放出来鸡不先把菜都吃光了。已经买了鸡粪，真怕版上那天会旋起买
: 鸡的风。
g*g
14 楼
开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
.4
htmlunit本
【在 b******d 的大作中提到】
: thanks.
: 应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
: g(包括操作系统，用free -m看的)
: 但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
: 身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
: 少了。
.4
htmlunit本
【在 b******d 的大作中提到】
: thanks.
: 应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
: g(包括操作系统，用free -m看的)
: 但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
: 身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
: 少了。
G*A
15 楼
好咧，有您的支持，挺住了 。
【在 L****A 的大作中提到】
: 我今年春天就是这样连着捉了１个星期就给捉绝了！鼓励MM坚持住。
【在 L****A 的大作中提到】
: 我今年春天就是这样连着捉了１个星期就给捉绝了！鼓励MM坚持住。
b*d
16 楼
is it like a auto-sized vpn? then I still have to pay for more calculation p
ower and memory if my program is not efficient.
【在 g*****g 的大作中提到】
: See if you can switch to google app engine.
:
: exception
: 512m
ower and memory if my program is not efficient.
【在 g*****g 的大作中提到】
: See if you can switch to google app engine.
:
: exception
: 512m
c*p
17 楼
学小番茄，抓完回来上cheese cake
b*d
18 楼
sorry, i mean thread, but its still very heavy, and my design target is to
have
10 of those programs running together without negative effect on efficiency.
however, its necessary to parallel processing the request so the waiting
time could be acceptable.
【在 g*****g 的大作中提到】
: 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
:
: .4
: htmlunit本
have
10 of those programs running together without negative effect on efficiency.
however, its necessary to parallel processing the request so the waiting
time could be acceptable.
【在 g*****g 的大作中提到】
: 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
:
: .4
: htmlunit本
D*1
19 楼
也刚杀死了几条。
还是撒药省事，完全抓太辛苦了。
【在 c***p 的大作中提到】
: 学小番茄，抓完回来上cheese cake
还是撒药省事，完全抓太辛苦了。
【在 c***p 的大作中提到】
: 学小番茄，抓完回来上cheese cake
g*g
20 楼
I think you may want to consider AWS instead. And use it only when you need
it. You can use big enough instance that suits your need, and shut it down
once you finish it.
efficiency.
【在 b******d 的大作中提到】
: sorry, i mean thread, but its still very heavy, and my design target is to
: have
: 10 of those programs running together without negative effect on efficiency.
: however, its necessary to parallel processing the request so the waiting
: time could be acceptable.
it. You can use big enough instance that suits your need, and shut it down
once you finish it.
efficiency.
【在 b******d 的大作中提到】
: sorry, i mean thread, but its still very heavy, and my design target is to
: have
: 10 of those programs running together without negative effect on efficiency.
: however, its necessary to parallel processing the request so the waiting
: time could be acceptable.
D*1
21 楼
对了，小杯子，你的碗莲是那里搞到的？
我没忍住又回景德镇去了一趟，扛了一个鱼缸和两个花盆。那些花盆实在是太便宜了，
又漂亮，准备用来种玫瑰花。
鱼缸准备放游泳池里，里边种上莲花，在养几条小鱼。放泳池里一来可以加点趣味，更
可以保证夏天时水温不会太高，这个想法很有创意吧？LOL
【在 D*******1 的大作中提到】
: 也刚杀死了几条。
: 还是撒药省事，完全抓太辛苦了。
我没忍住又回景德镇去了一趟，扛了一个鱼缸和两个花盆。那些花盆实在是太便宜了，
又漂亮，准备用来种玫瑰花。
鱼缸准备放游泳池里，里边种上莲花，在养几条小鱼。放泳池里一来可以加点趣味，更
可以保证夏天时水温不会太高，这个想法很有创意吧？LOL
【在 D*******1 的大作中提到】
: 也刚杀死了几条。
: 还是撒药省事，完全抓太辛苦了。
b*d
22 楼
thx, but unfortunately, i can't shut it down because it is supposed to run e
very a few minutes to check the latest informatin from 8am to 9pm. I guess t
hat could cost a lot more than running 4g vps a whole day, :(
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
very a few minutes to check the latest informatin from 8am to 9pm. I guess t
hat could cost a lot more than running 4g vps a whole day, :(
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
c*p
23 楼
老兄，莲花是要种土里的，放游泳池里，你就可以洗泥浆浴了，这个创意不咋地
莲花是这里买的:
http://www.ebay.com/itm/330550669133?var=540033636623&ssPageNam
大概两星期到货
【在 D*******1 的大作中提到】
: 对了，小杯子，你的碗莲是那里搞到的？
: 我没忍住又回景德镇去了一趟，扛了一个鱼缸和两个花盆。那些花盆实在是太便宜了，
: 又漂亮，准备用来种玫瑰花。
: 鱼缸准备放游泳池里，里边种上莲花，在养几条小鱼。放泳池里一来可以加点趣味，更
: 可以保证夏天时水温不会太高，这个想法很有创意吧？LOL
莲花是这里买的:
http://www.ebay.com/itm/330550669133?var=540033636623&ssPageNam
大概两星期到货
【在 D*******1 的大作中提到】
: 对了，小杯子，你的碗莲是那里搞到的？
: 我没忍住又回景德镇去了一趟，扛了一个鱼缸和两个花盆。那些花盆实在是太便宜了，
: 又漂亮，准备用来种玫瑰花。
: 鱼缸准备放游泳池里，里边种上莲花，在养几条小鱼。放泳池里一来可以加点趣味，更
: 可以保证夏天时水温不会太高，这个想法很有创意吧？LOL
b*d
24 楼
虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
动，或者停止；有什么好的framework?
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
动，或者停止；有什么好的framework?
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
D*1
25 楼
莲花不是出污泥而不染？平生所见到的荷花都是长在水里，当然下边有土/泥。
我也可以在浴缸里添一些土阿。。。浴缸里的水和泳池是完全隔离的，不然怎么养鱼？
你打算怎样种，不会在地里挖个坑就埋下去吧？
谢谢连接，马上过去查一下。
【在 c***p 的大作中提到】
: 老兄，莲花是要种土里的，放游泳池里，你就可以洗泥浆浴了，这个创意不咋地
: 莲花是这里买的:
: http://www.ebay.com/itm/330550669133?var=540033636623&ssPageNam
: 大概两星期到货
我也可以在浴缸里添一些土阿。。。浴缸里的水和泳池是完全隔离的，不然怎么养鱼？
你打算怎样种，不会在地里挖个坑就埋下去吧？
谢谢连接，马上过去查一下。
【在 c***p 的大作中提到】
: 老兄，莲花是要种土里的，放游泳池里，你就可以洗泥浆浴了，这个创意不咋地
: 莲花是这里买的:
: http://www.ebay.com/itm/330550669133?var=540033636623&ssPageNam
: 大概两星期到货
e*t
26 楼
I would recommend to use spring. You can use spring's impl or lay it on top
of quartz.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
of quartz.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
c*p
27 楼
糊涂了
鱼缸里放土种上莲花
然后放游泳池里
游泳池加满水
怎么保证鱼缸的土不跑出来弄脏游泳池的水？？？
鱼又是咋回事？养在游泳池里？？
【在 D*******1 的大作中提到】
: 莲花不是出污泥而不染？平生所见到的荷花都是长在水里，当然下边有土/泥。
: 我也可以在浴缸里添一些土阿。。。浴缸里的水和泳池是完全隔离的，不然怎么养鱼？
: 你打算怎样种，不会在地里挖个坑就埋下去吧？
: 谢谢连接，马上过去查一下。
鱼缸里放土种上莲花
然后放游泳池里
游泳池加满水
怎么保证鱼缸的土不跑出来弄脏游泳池的水？？？
鱼又是咋回事？养在游泳池里？？
【在 D*******1 的大作中提到】
: 莲花不是出污泥而不染？平生所见到的荷花都是长在水里，当然下边有土/泥。
: 我也可以在浴缸里添一些土阿。。。浴缸里的水和泳池是完全隔离的，不然怎么养鱼？
: 你打算怎样种，不会在地里挖个坑就埋下去吧？
: 谢谢连接，马上过去查一下。
g*g
28 楼
For simpler one, TimerTask, more complicated one, quartz, both can be
wired through spring. You can expose the bean as a webservice where you can
set the parameters you need. Add a boolean that's checked every time it's
triggered and you have your stop/start.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
wired through spring. You can expose the bean as a webservice where you can
set the parameters you need. Add a boolean that's checked every time it's
triggered and you have your stop/start.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
D*1
29 楼
谢谢连接，已经ORDER了！怎么这样便宜，还不要邮费？
N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
，一个漂亮些，一个水温稳定好养鱼。
明白点没有，还是更糊涂了？:-)
【在 c***p 的大作中提到】
: 糊涂了
: 鱼缸里放土种上莲花
: 然后放游泳池里
: 游泳池加满水
: 怎么保证鱼缸的土不跑出来弄脏游泳池的水？？？
: 鱼又是咋回事？养在游泳池里？？
N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
，一个漂亮些，一个水温稳定好养鱼。
明白点没有，还是更糊涂了？:-)
【在 c***p 的大作中提到】
: 糊涂了
: 鱼缸里放土种上莲花
: 然后放游泳池里
: 游泳池加满水
: 怎么保证鱼缸的土不跑出来弄脏游泳池的水？？？
: 鱼又是咋回事？养在游泳池里？？
b*d
30 楼
前几天在诸位大牛指导下做了个网络爬虫。
开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
请大虾指点如果优化程序
开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
请大虾指点如果优化程序
c*p
31 楼
明白的嘎活！
【在 D*******1 的大作中提到】
: 谢谢连接，已经ORDER了！怎么这样便宜，还不要邮费？
: N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
: 鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
: 里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
: 种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
: ，一个漂亮些，一个水温稳定好养鱼。
: 明白点没有，还是更糊涂了？:-)
【在 D*******1 的大作中提到】
: 谢谢连接，已经ORDER了！怎么这样便宜，还不要邮费？
: N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
: 鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
: 里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
: 种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
: ，一个漂亮些，一个水温稳定好养鱼。
: 明白点没有，还是更糊涂了？:-)
g*g
32 楼
打印一些timestamp出来看看哪里慢了。
mem/
【在 b******d 的大作中提到】
: 前几天在诸位大牛指导下做了个网络爬虫。
: 开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
: ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
: 请大虾指点如果优化程序
mem/
【在 b******d 的大作中提到】
: 前几天在诸位大牛指导下做了个网络爬虫。
: 开了12个线程，在本地台机上跑还可以，一次查询只需2分多钟(台机I7 2600/12g mem/
: ssd); 后来上线到vps(cpu不详，内存只有1g, 否则太贵养不起了),速度就很慢了
: 请大虾指点如果优化程序
G*A
33 楼
创意很新颖，师傅，我来给你泼点凉水行不？游泳池最怕的就是algea and dirt，养莲
花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
就有些费力了。
花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
就有些费力了。
b*d
34 楼
multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
的十几倍。
【在 g*****g 的大作中提到】
: 打印一些timestamp出来看看哪里慢了。
:
: mem/
主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
的十几倍。
【在 g*****g 的大作中提到】
: 打印一些timestamp出来看看哪里慢了。
:
: mem/
O*d
35 楼
鼻涕虫 is slug
【在 a****a 的大作中提到】
: 你提醒我了,可能鸡眼神不好,不喜欢吃这个,鼻涕虫应该是透明的???
【在 a****a 的大作中提到】
: 你提醒我了,可能鸡眼神不好,不喜欢吃这个,鼻涕虫应该是透明的???
r*l
36 楼
1. Check if CPU is fully loaded.
2. Check if memory is used up.
From your symptom, looks like memory issue. Use jmap to dump heap and use
jhat to analyze memory usage.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
2. Check if memory is used up.
From your symptom, looks like memory issue. Use jmap to dump heap and use
jhat to analyze memory usage.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
g*e
37 楼
装个自动测雨启动的透明棚子不就结了。
【在 G********A 的大作中提到】
: 创意很新颖，师傅，我来给你泼点凉水行不？游泳池最怕的就是algea and dirt，养莲
: 花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
: 么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
: 就有些费力了。
【在 G********A 的大作中提到】
: 创意很新颖，师傅，我来给你泼点凉水行不？游泳池最怕的就是algea and dirt，养莲
: 花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
: 么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
: 就有些费力了。
b*d
38 楼
thanks.
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。
【在 r*****l 的大作中提到】
: 1. Check if CPU is fully loaded.
: 2. Check if memory is used up.
: From your symptom, looks like memory issue. Use jmap to dump heap and use
: jhat to analyze memory usage.
:
: exception
: 512m
应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
g(包括操作系统，用free -m看的)
但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
少了。
【在 r*****l 的大作中提到】
: 1. Check if CPU is fully loaded.
: 2. Check if memory is used up.
: From your symptom, looks like memory issue. Use jmap to dump heap and use
: jhat to analyze memory usage.
:
: exception
: 512m
G*A
39 楼
昨晚睡觉一闭眼，眼前全是照片中软软稀稀的鼻涕虫，真是挥之不去呀。
【在 O*******d 的大作中提到】
: 鼻涕虫 is slug
【在 O*******d 的大作中提到】
: 鼻涕虫 is slug
g*g
40 楼
See if you can switch to google app engine.
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
exception
512m
【在 b******d 的大作中提到】
: multi-thread的，打stamp也看不出什么东西吧。我倒是程序里都有输出，看exception
: 主要是heap exception, out of memory, vps内存扩到4g后就很快了，可是月费是512m
: 的十几倍。
a*a
41 楼
有点后悔点进来。。。
【在 O*******d 的大作中提到】
: 鼻涕虫 is slug
【在 O*******d 的大作中提到】
: 鼻涕虫 is slug
g*g
42 楼
开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
.4
htmlunit本
【在 b******d 的大作中提到】
: thanks.
: 应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
: g(包括操作系统，用free -m看的)
: 但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
: 身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
: 少了。
.4
htmlunit本
【在 b******d 的大作中提到】
: thanks.
: 应该是内存问题，512内存环境下，内存一下就吃掉了；4g内存下，一般内存占用是1.4
: g(包括操作系统，用free -m看的)
: 但是决大部分内存操作都是htmlunit完成的，我就是start了12个进程。如果htmlunit本
: 身就很耗内存(相当于开12个不share cookie的浏览器)，那这方面是不是可以控制的很
: 少了。
G*A
43 楼
呵呵，还以为你每天抓了喂鸡免疫了已经。
【在 a****a 的大作中提到】
: 有点后悔点进来。。。
【在 a****a 的大作中提到】
: 有点后悔点进来。。。
b*d
44 楼
is it like a auto-sized vpn? then I still have to pay for more calculation p
ower and memory if my program is not efficient.
【在 g*****g 的大作中提到】
: See if you can switch to google app engine.
:
: exception
: 512m
ower and memory if my program is not efficient.
【在 g*****g 的大作中提到】
: See if you can switch to google app engine.
:
: exception
: 512m
G*A
45 楼
前提是下大雨游泳池的水也不会漫过鱼缸。师傅那么聪明手巧，有可能这些已经考虑到
了。那我就不瞎担心了。
【在 g***e 的大作中提到】
: 装个自动测雨启动的透明棚子不就结了。
了。那我就不瞎担心了。
【在 g***e 的大作中提到】
: 装个自动测雨启动的透明棚子不就结了。
b*d
46 楼
sorry, i mean thread, but its still very heavy, and my design target is to
have
10 of those programs running together without negative effect on efficiency.
however, its necessary to parallel processing the request so the waiting
time could be acceptable.
【在 g*****g 的大作中提到】
: 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
:
: .4
: htmlunit本
have
10 of those programs running together without negative effect on efficiency.
however, its necessary to parallel processing the request so the waiting
time could be acceptable.
【在 g*****g 的大作中提到】
: 开12个进程？JVM一下子就吃掉了。你当然应该开一个JVM，上面开线程。
:
: .4
: htmlunit本
l*i
47 楼
菜地里撒点鸡蛋棵他们就悲剧了
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
g*g
48 楼
I think you may want to consider AWS instead. And use it only when you need
it. You can use big enough instance that suits your need, and shut it down
once you finish it.
efficiency.
【在 b******d 的大作中提到】
: sorry, i mean thread, but its still very heavy, and my design target is to
: have
: 10 of those programs running together without negative effect on efficiency.
: however, its necessary to parallel processing the request so the waiting
: time could be acceptable.
it. You can use big enough instance that suits your need, and shut it down
once you finish it.
efficiency.
【在 b******d 的大作中提到】
: sorry, i mean thread, but its still very heavy, and my design target is to
: have
: 10 of those programs running together without negative effect on efficiency.
: however, its necessary to parallel processing the request so the waiting
: time could be acceptable.
g*e
49 楼
症状跟我类似，原因不同。我昨晚点灯挖坑，目标是80x80x80厘米，结果下面土层太硬
实在挖不动，60厘米深打住了。填了3 cu ft compost，大半袋鸡粪，把梨树种上。
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
实在挖不动，60厘米深打住了。填了3 cu ft compost，大半袋鸡粪，把梨树种上。
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
b*d
50 楼
thx, but unfortunately, i can't shut it down because it is supposed to run e
very a few minutes to check the latest informatin from 8am to 9pm. I guess t
hat could cost a lot more than running 4g vps a whole day, :(
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
very a few minutes to check the latest informatin from 8am to 9pm. I guess t
hat could cost a lot more than running 4g vps a whole day, :(
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
F*k
51 楼
要求去老四家里参观！最近被熊猫灌了好多迷汤，说老四家如何如何漂亮如何如何
professional！
【在 D*******1 的大作中提到】
: 谢谢连接，已经ORDER了！怎么这样便宜，还不要邮费？
: N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
: 鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
: 里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
: 种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
: ，一个漂亮些，一个水温稳定好养鱼。
: 明白点没有，还是更糊涂了？:-)
professional！
【在 D*******1 的大作中提到】
: 谢谢连接，已经ORDER了！怎么这样便宜，还不要邮费？
: N年没有用eBAY，费了半天劲UPDATE ACCOUNT info。。。
: 鱼缸坐在泳池里。。。鱼缸比泳池里的水高出一头，所以鱼缸里的水进不了泳池，泳池
: 里得也进不了鱼缸。有点像脑筋急转弯。如果成功，估计华人家里的用泳池有很多都加
: 种荷花了。注意是加种不是改种：泳池的功能不变，浴缸也还是鱼缸，就是互相借点力
: ，一个漂亮些，一个水温稳定好养鱼。
: 明白点没有，还是更糊涂了？:-)
b*d
52 楼
虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
动，或者停止；有什么好的framework?
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
动，或者停止；有什么好的framework?
need
【在 g*****g 的大作中提到】
: I think you may want to consider AWS instead. And use it only when you need
: it. You can use big enough instance that suits your need, and shut it down
: once you finish it.
:
: efficiency.
z*n
53 楼
刚看岔一个家字，揉了揉眼睛
【在 F*********k 的大作中提到】
: 要求去老四家里参观！最近被熊猫灌了好多迷汤，说老四家如何如何漂亮如何如何
: professional！
【在 F*********k 的大作中提到】
: 要求去老四家里参观！最近被熊猫灌了好多迷汤，说老四家如何如何漂亮如何如何
: professional！
e*t
54 楼
I would recommend to use spring. You can use spring's impl or lay it on top
of quartz.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
of quartz.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
F*k
55 楼
我在啃早饭。。。555
【在 a****a 的大作中提到】
: 有点后悔点进来。。。
【在 a****a 的大作中提到】
: 有点后悔点进来。。。
g*g
56 楼
For simpler one, TimerTask, more complicated one, quartz, both can be
wired through spring. You can expose the bean as a webservice where you can
set the parameters you need. Add a boolean that's checked every time it's
triggered and you have your stop/start.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
wired through spring. You can expose the bean as a webservice where you can
set the parameters you need. Add a boolean that's checked every time it's
triggered and you have your stop/start.
页启
【在 b******d 的大作中提到】
: 虫兄，另外想用web app实现一个定时执行的任务，要求可以设定间隔，可以通过网页启
: 动，或者停止；有什么好的framework?
:
: need
G*A
57 楼
这个注意不错。又可以肥土hai 防虫。谢谢。晚上可以试验一下。
【在 l****i 的大作中提到】
: 菜地里撒点鸡蛋棵他们就悲剧了
【在 l****i 的大作中提到】
: 菜地里撒点鸡蛋棵他们就悲剧了
l*s
58 楼
我就在用htmlunit做东西，内存似乎没有你说的那么大，当然了，我做的是scraper，
可能比你的爬虫workload小很多。
不妨升级以下版本，htmlunit有不少bug，他们整天改。
可能比你的爬虫workload小很多。
不妨升级以下版本，htmlunit有不少bug，他们整天改。
F*k
59 楼
为什么鸡蛋壳可以除slug啊
【在 G********A 的大作中提到】
: 这个注意不错。又可以肥土hai 防虫。谢谢。晚上可以试验一下。
【在 G********A 的大作中提到】
: 这个注意不错。又可以肥土hai 防虫。谢谢。晚上可以试验一下。
l*i
60 楼
因为他们柔软的身体爬过鸡蛋壳就犹如过刀山一样
【在 F*********k 的大作中提到】
: 为什么鸡蛋壳可以除slug啊
【在 F*********k 的大作中提到】
: 为什么鸡蛋壳可以除slug啊
z*n
61 楼
哈哈哈，握手握手，这事我干过太多了
再一次敬仰你家的潮湿
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
再一次敬仰你家的潮湿
【在 G********A 的大作中提到】
: 今天下午把版聚时从刚刚那儿得的莴笋苗转移入土，为避免红菜苔的悲剧重演，天一
: 黑，拿上刚换了电池的大号手电筒和一次性筷子奔后院去了。蹲着慢慢找慢慢捉
: 慢慢的一个一个踩死。一共捉了71只。现在是腰酸背痛膝盖发软眼睛发花。
F*k
62 楼
啊，原来是这样。。。受教了
【在 l****i 的大作中提到】
: 因为他们柔软的身体爬过鸡蛋壳就犹如过刀山一样
【在 l****i 的大作中提到】
: 因为他们柔软的身体爬过鸡蛋壳就犹如过刀山一样
l*e
63 楼
放一盘啤酒在地下。
啊，原来是这样。。。受教了
★ Sent from iPhone App: iReader Mitbbs Lite 7.28
【在 F*********k 的大作中提到】
: 啊，原来是这样。。。受教了
啊，原来是这样。。。受教了
★ Sent from iPhone App: iReader Mitbbs Lite 7.28
【在 F*********k 的大作中提到】
: 啊，原来是这样。。。受教了
D*1
64 楼
欢迎，ANYTIME。。。
【在 F*********k 的大作中提到】
: 要求去老四家里参观！最近被熊猫灌了好多迷汤，说老四家如何如何漂亮如何如何
: professional！
【在 F*********k 的大作中提到】
: 要求去老四家里参观！最近被熊猫灌了好多迷汤，说老四家如何如何漂亮如何如何
: professional！
D*1
65 楼
谢提醒。
鱼缸高出泳池正常水面6寸，且较泳池高出约一寸，所以两个水不会混的。
下雨确实是个问题，好在我们这里不常下大雨，估计下雨前用盖子把鱼缸盖上就可以了
。夏天南加无雨，就更不成问题。
【在 G********A 的大作中提到】
: 创意很新颖，师傅，我来给你泼点凉水行不？游泳池最怕的就是algea and dirt，养莲
: 花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
: 么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
: 就有些费力了。
鱼缸高出泳池正常水面6寸，且较泳池高出约一寸，所以两个水不会混的。
下雨确实是个问题，好在我们这里不常下大雨，估计下雨前用盖子把鱼缸盖上就可以了
。夏天南加无雨，就更不成问题。
【在 G********A 的大作中提到】
: 创意很新颖，师傅，我来给你泼点凉水行不？游泳池最怕的就是algea and dirt，养莲
: 花和鱼的缸里面是不能放chlorine de。就是说这两种water不接触没事。再想想，你这
: 么养的风险在于如碰到下大雨，水满出来...还望三思，一旦莲花缸子入了泳池要出来
: 就有些费力了。
D*1
66 楼
刚刚DIY能力超强。。。我打算用土办法，把鱼缸盖起来算了。
【在 g***e 的大作中提到】
: 装个自动测雨启动的透明棚子不就结了。
【在 g***e 的大作中提到】
: 装个自动测雨启动的透明棚子不就结了。
f*i
67 楼
我常常在晚上把鸡放到草地上捉鼻涕虫
手电照到哪里，鸡就跑到那里
一次一只鸡
【在 a****a 的大作中提到】
: 你提醒我了,可能鸡眼神不好,不喜欢吃这个,鼻涕虫应该是透明的???
手电照到哪里，鸡就跑到那里
一次一只鸡
【在 a****a 的大作中提到】
: 你提醒我了,可能鸡眼神不好,不喜欢吃这个,鼻涕虫应该是透明的???
G*A
68 楼
LD戒酒了，不过这个方法可行。且环保
【在 l*****e 的大作中提到】
: 放一盘啤酒在地下。
:
: 啊，原来是这样。。。受教了
: ★ Sent from iPhone App: iReader Mitbbs Lite 7.28
【在 l*****e 的大作中提到】
: 放一盘啤酒在地下。
:
: 啊，原来是这样。。。受教了
: ★ Sent from iPhone App: iReader Mitbbs Lite 7.28
G*A
69 楼
那你和你LD一定得记着，尤其是你出差下暴雨的时候.你那么能干估计你们家LD都不知
道怎么清理泳池。
【在 D*******1 的大作中提到】
: 谢提醒。
: 鱼缸高出泳池正常水面6寸，且较泳池高出约一寸，所以两个水不会混的。
: 下雨确实是个问题，好在我们这里不常下大雨，估计下雨前用盖子把鱼缸盖上就可以了
: 。夏天南加无雨，就更不成问题。
道怎么清理泳池。
【在 D*******1 的大作中提到】
: 谢提醒。
: 鱼缸高出泳池正常水面6寸，且较泳池高出约一寸，所以两个水不会混的。
: 下雨确实是个问题，好在我们这里不常下大雨，估计下雨前用盖子把鱼缸盖上就可以了
: 。夏天南加无雨，就更不成问题。
G*A
70 楼
鸡晚上不睡觉陪着你玩，真的假的？
【在 f****i 的大作中提到】
: 我常常在晚上把鸡放到草地上捉鼻涕虫
: 手电照到哪里，鸡就跑到那里
: 一次一只鸡
【在 f****i 的大作中提到】
: 我常常在晚上把鸡放到草地上捉鼻涕虫
: 手电照到哪里，鸡就跑到那里
: 一次一只鸡
f*i
71 楼
抓出来呗
但是鼻涕虫糊嘴，不能吃太多，蜗牛就好办
【在 G********A 的大作中提到】
: 鸡晚上不睡觉陪着你玩，真的假的？
但是鼻涕虫糊嘴，不能吃太多，蜗牛就好办
【在 G********A 的大作中提到】
: 鸡晚上不睡觉陪着你玩，真的假的？
G*A
72 楼
呵呵，可怜的鸡。
【在 f****i 的大作中提到】
: 抓出来呗
: 但是鼻涕虫糊嘴，不能吃太多，蜗牛就好办
【在 f****i 的大作中提到】
: 抓出来呗
: 但是鼻涕虫糊嘴，不能吃太多，蜗牛就好办
相关阅读
goodbug,apie等高手帮忙看一下, 包子答谢Chase Freedom&Sapphire信用卡开户送350刀 限时 另送drugstore giftcard 若干自己写的类如何做到线程安全install4j 打包问题这么多的JSF Ajax Component Librariesjnlp 如何获得sessionstruts vs Spring MVC ??请教获取URL地址的问题Maven浅淡（一）请推荐一本J2EE的书[提问] The JVM could not be started关于Random怎么用？web service returns HashMap that contains multiple ArrayListjava能否做到这个？免费拿最高600刀 bonus+Discover 12000mile+10刀礼品卡若干（自取）hash function question免费拿最高350刀chase bonus--并友情提供$10礼品卡若干Anyone know SAML 2.0 and OpenSAML ?jnlp问题a fun coding question