avatar
h*n
1
8/1 RD
9/26 FP
10/11 AP
10/13 485
9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。
avatar
m*h
2
我有这么一个production上的java app,一台server,每天早晨定点run一个job(
Spring-Quartz),大概20分钟的模样。现在要把它搬到replicated VM/cluster里去
,所以
面临的问题是怎样实现cluster里schedule job的问题:保证还在同样的时间总有1个也
只有1个job运行。我知道利用database write lock应该可以,但是这个系统本身并不
带数据库,所以不想为了这个目的再单独install 和maintain个数据库,也没有
zookeeper之类。所以面临的问题是需要一个简单可靠不折腾的办法。各位有什么建议
没有?
avatar
S*r
3
gongxi!!
avatar
g*g
4
没 zookeeper没数据库就写共享文件。本质是一样的。

【在 m***h 的大作中提到】
: 我有这么一个production上的java app,一台server,每天早晨定点run一个job(
: Spring-Quartz),大概20分钟的模样。现在要把它搬到replicated VM/cluster里去
: ,所以
: 面临的问题是怎样实现cluster里schedule job的问题:保证还在同样的时间总有1个也
: 只有1个job运行。我知道利用database write lock应该可以,但是这个系统本身并不
: 带数据库,所以不想为了这个目的再单独install 和maintain个数据库,也没有
: zookeeper之类。所以面临的问题是需要一个简单可靠不折腾的办法。各位有什么建议
: 没有?

avatar
y*g
5
congs. Baozi please
avatar
m*h
6
谢谢回答,不过没有NFS,也没有EBS,shared volume...
这个job是从ElasticSearch里读数据输出报告,只有ES是现成可“写”的。
BTW,我在试http://docs.hazelcast.org,以前没用过这个,不过看着挺neat,可以在app level组cluster,支持distributed map, cache, 包括lock。不过一个问题是cluster discovery (http://docs.hazelcast.org/docs/3.5/manual/html/hazelcastclusters.html):multicast经常在network这一层出问题production不是很实际,TCP/Unicast方式需要至少一个node的hostname或IP,这就牵扯更多了,service registry discovery越滚越大。
avatar
L*a
7
Conga
Baozi
avatar
c*m
8
最简单可靠不折腾的方法,就是“指定一个”run,而不是“任意一个”run。
avatar
a*o
9
this is fast.cong baozi

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
N*m
10
你不单独维护数据库,为啥要单独维护一个hazelcast server?
app level一样可以起个数据库

【在 m***h 的大作中提到】
: 谢谢回答,不过没有NFS,也没有EBS,shared volume...
: 这个job是从ElasticSearch里读数据输出报告,只有ES是现成可“写”的。
: BTW,我在试http://docs.hazelcast.org,以前没用过这个,不过看着挺neat,可以在app level组cluster,支持distributed map, cache, 包括lock。不过一个问题是cluster discovery (http://docs.hazelcast.org/docs/3.5/manual/html/hazelcastclusters.html):multicast经常在network这一层出问题production不是很实际,TCP/Unicast方式需要至少一个node的hostname或IP,这就牵扯更多了,service registry discovery越滚越大。

avatar
I*1
11
恭喜恭喜

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
m*h
12
我尝试用hazelcast主要是因问它可以embedded在app里,这样我所有的app 就自己组成
一个cluster,可以share数据什么的
import com.hazelcast.config.Config;
import com.hazelcast.core.Hazelcast;
import com.hazelcast.core.HazelcastInstance;
import java.util.concurrent.locks.Lock;
public class DistributedLock {
public static void main(String[] args) {
Config config = new Config();
HazelcastInstance h = Hazelcast.newHazelcastInstance(config);
Lock lock = h.getLock("my-distributed-lock");
lock.lock();
try {
//do something here
} finally {
lock.unlock();
}
}
}

【在 N*****m 的大作中提到】
: 你不单独维护数据库,为啥要单独维护一个hazelcast server?
: app level一样可以起个数据库

avatar
z*u
13
恭喜恭喜!!!
avatar
N*m
14
数据库也可以啊,随便搞个H2,jdbc一连就可以了,比hazelcast还简单
hazelcast还没法persistent

【在 m***h 的大作中提到】
: 我尝试用hazelcast主要是因问它可以embedded在app里,这样我所有的app 就自己组成
: 一个cluster,可以share数据什么的
: import com.hazelcast.config.Config;
: import com.hazelcast.core.Hazelcast;
: import com.hazelcast.core.HazelcastInstance;
: import java.util.concurrent.locks.Lock;
: public class DistributedLock {
: public static void main(String[] args) {
: Config config = new Config();
: HazelcastInstance h = Hazelcast.newHazelcastInstance(config);

avatar
t*a
15
这是8月交485第一个报喜的吧。谢谢分享。希望大家都早点绿
avatar
g*g
16
S3. Cheap and effective.

【在 m***h 的大作中提到】
: 谢谢回答,不过没有NFS,也没有EBS,shared volume...
: 这个job是从ElasticSearch里读数据输出报告,只有ES是现成可“写”的。
: BTW,我在试http://docs.hazelcast.org,以前没用过这个,不过看着挺neat,可以在app level组cluster,支持distributed map, cache, 包括lock。不过一个问题是cluster discovery (http://docs.hazelcast.org/docs/3.5/manual/html/hazelcastclusters.html):multicast经常在network这一层出问题production不是很实际,TCP/Unicast方式需要至少一个node的hostname或IP,这就牵扯更多了,service registry discovery越滚越大。

avatar
c*6
17
cong
avatar
g*g
18
结点当了就玩完了。

【在 c*m 的大作中提到】
: 最简单可靠不折腾的方法,就是“指定一个”run,而不是“任意一个”run。
avatar
a*e
19
Cong!
avatar
c*m
20
他这个本来就一个instance在run, 可见也不是啥非常critical的东西。在现实工作里
,节点当了一般会马上trigger alert, 这个时候来个人重启一下就好了。我个人觉得
,这是最经济实惠又符合绝大多数工作环境的做法。
如果需要自动fail over,我觉得你前面说的S3是最简单的方法。如果因为种种原因不
允许跟外界通讯,那么次简单的方法就是在instance启动的时候start 一个listening
thread,跟其他instance 通讯。

【在 g*****g 的大作中提到】
: 结点当了就玩完了。
avatar
n*s
21
So fast. Cong! baozi.
avatar
H*S
22
Zookeeper + curator leader latch 是最不折腾但又可靠的方式了。

【在 m***h 的大作中提到】
: 我有这么一个production上的java app,一台server,每天早晨定点run一个job(
: Spring-Quartz),大概20分钟的模样。现在要把它搬到replicated VM/cluster里去
: ,所以
: 面临的问题是怎样实现cluster里schedule job的问题:保证还在同样的时间总有1个也
: 只有1个job运行。我知道利用database write lock应该可以,但是这个系统本身并不
: 带数据库,所以不想为了这个目的再单独install 和maintain个数据库,也没有
: zookeeper之类。所以面临的问题是需要一个简单可靠不折腾的办法。各位有什么建议
: 没有?

avatar
a*x
23
pai

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
m*h
24
谢谢各位的建议,汇报一下进展
1,in-app cluster/data grid, Hazelcast, infra不可行,因为整个系统正向
container方向转,infra team搞了一套东西,wrap了Kubernets 和 docker,但是有一
个limit-只能有一个port forwarding,系统已经用来expose 8080了,这样Hazelcast
nodes没办法通讯
2,H2类似的embedded小db,也是同样的问题,cluster 需要hostname和open port。
结论是要么用external db/s3/EBS/zookeeper,或者single container with
monitoring and restarting
3,这个single container就是CDM建议的方向,infra有现成的,但是这个小job和一些
Kafka的consumer绑在一起,不希望这些consumer局限于一个container,而剥离这两个
module也麻烦。
看来怎么都得折腾了。
4,Kafka伴随的zookeeper,归另一个team,爱搭不理的。
5,S3貌似在同一个region可以保证consistency,Netflix有个相关的open source http://techblog.netflix.com/2014/01/s3mper-consistency-in-cloud.html,可以做为选择
6,我们另外一个数据处理的部分有可能用Cassandra,这也是个candidate,DBA team关
系不错,头儿还是老中。上次用它还是0.6 version,估计变化很大了。
avatar
z*o
25
gxgx!!!
baozi pls
avatar
N*m
26
s3mper用dynamodb
那你还不如直接用dynamo得了

Hazelcast

【在 m***h 的大作中提到】
: 谢谢各位的建议,汇报一下进展
: 1,in-app cluster/data grid, Hazelcast, infra不可行,因为整个系统正向
: container方向转,infra team搞了一套东西,wrap了Kubernets 和 docker,但是有一
: 个limit-只能有一个port forwarding,系统已经用来expose 8080了,这样Hazelcast
: nodes没办法通讯
: 2,H2类似的embedded小db,也是同样的问题,cluster 需要hostname和open port。
: 结论是要么用external db/s3/EBS/zookeeper,或者single container with
: monitoring and restarting
: 3,这个single container就是CDM建议的方向,infra有现成的,但是这个小job和一些
: Kafka的consumer绑在一起,不希望这些consumer局限于一个container,而剥离这两个

avatar
N*0
27
cong!

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
m*h
28
确实,其实S3,还有Dynamodb和Cassandra本来都不是为我这个要求设计的。
技术的选择经常更多基于技术之外的因素。如果另外一个project用C*的话,可能就搭
那趟车了。
关于Cassandra...java driver我记得早年用Vector很多,现在似乎推荐DataStax自己
的了?

【在 N*****m 的大作中提到】
: s3mper用dynamodb
: 那你还不如直接用dynamo得了
:
: Hazelcast

avatar
a*o
29
恭喜恭喜!!!

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
k*n
30
一般需要一个queue.. cluster server workers 到queue 里取job 运行...

【在 m***h 的大作中提到】
: 我有这么一个production上的java app,一台server,每天早晨定点run一个job(
: Spring-Quartz),大概20分钟的模样。现在要把它搬到replicated VM/cluster里去
: ,所以
: 面临的问题是怎样实现cluster里schedule job的问题:保证还在同样的时间总有1个也
: 只有1个job运行。我知道利用database write lock应该可以,但是这个系统本身并不
: 带数据库,所以不想为了这个目的再单独install 和maintain个数据库,也没有
: zookeeper之类。所以面临的问题是需要一个简单可靠不折腾的办法。各位有什么建议
: 没有?

avatar
c*n
31
cong
avatar
m*t
33
Cong!
avatar
r*o
34
Cong~
avatar
r*t
35
恭喜,真快啊!
你是NSC还是TSC?
avatar
L*e
36
恭喜!
avatar
r*3
37
congratulations.
avatar
x*i
38
cong
avatar
h*8
39
congrats!

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
p*a
40
gx gx
I am hoping this is a good precedent for all newly filed I485s.

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
f*3
41
gxgx
avatar
g*g
42
What is your pd? First one in aug, gxgx
avatar
g*g
43
What is your pd? First one in aug, gxgx
avatar
h*n
44
NSC

【在 r***t 的大作中提到】
: 恭喜,真快啊!
: 你是NSC还是TSC?

avatar
h*n
45
3/15/07

【在 g*****g 的大作中提到】
: What is your pd? First one in aug, gxgx
avatar
r*e
46
cong. baozi

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
M*y
47
gx!

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
m*o
48
恭喜恭喜~~~
avatar
c*e
49
Gxgx!
avatar
s*y
50
cong!baozi!
avatar
r*e
51
gxgx, pai baozi
avatar
k*o
52
Cong! baozi

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
p*f
53
congrats!!!

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
r*e
54
cong~
avatar
s*a
55
cong

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
h*a
56
con!
avatar
z*i
57
cong! baozi pls.
avatar
q*n
58
Zhan!
what is your PD?
avatar
C*M
59
恭喜,谢谢分享!
看这个过程,485比AP只晚两天。那么说对于新交的485,AP批了意味着485也在批的过
程了。很好的消息。

【在 h****n 的大作中提到】
: 8/1 RD
: 9/26 FP
: 10/11 AP
: 10/13 485
: 9月初受到FP通知,等了差不多一个月才让去打,不然估计还要快点。

avatar
f*y
60
cong!
avatar
s*n
61
I submitted my 485 on Aug. 4 and did my fingerprint on Sep. 22, but still
waiting. TSC. I hope I will get mine soon.
avatar
f*s
62
恭喜!
avatar
h*n
63
gxgx
avatar
G*e
64
恭喜恭喜
avatar
A*8
65
pd 4/13/2007
rd 8/2/2011
ead/ap 9/15/2011
fp 10/7/2011
希望快点绿
avatar
l*5
66
cong.!
avatar
S*a
67
CONG!
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。