S*e
2 楼
你们是用standalone mode, 还是over Hadoop/HDFS？ 要是standalone mode, 怎么处
理‘cluster’ 的 filesystem？
用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
with SPARK， 只需要4分钟（1 billion records）。 曾用 Hadoop's MR在40个
datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
出错.
现在， 自己组里想搭建一个小的spark cluster。 不知是用standalone mode， 还是
over hdfs。
理‘cluster’ 的 filesystem？
用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
with SPARK， 只需要4分钟（1 billion records）。 曾用 Hadoop's MR在40个
datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
出错.
现在， 自己组里想搭建一个小的spark cluster。 不知是用standalone mode， 还是
over hdfs。
c*i
3 楼
John Pomfret, China pushing the envelope on science, and sometimes ethics;
The Other Superpower. Washington Post, June 28, 2010.
http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
Note:
(a) Zhao Bowen I cannot find his Chinese name. However, his English name is
listed in a paper, where his affiliation was "High School Affiliated to
Renmin University of China, Beijing, China" 人大附中.
www.rdfz.cn/
("位于北京市中关村高科技园区的中心地带，是北京市首批示范高中校")
Huang SW et al, The genome
The Other Superpower. Washington Post, June 28, 2010.
http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
Note:
(a) Zhao Bowen I cannot find his Chinese name. However, his English name is
listed in a paper, where his affiliation was "High School Affiliated to
Renmin University of China, Beijing, China" 人大附中.
www.rdfz.cn/
("位于北京市中关村高科技园区的中心地带，是北京市首批示范高中校")
Huang SW et al, The genome
c*o
4 楼
over hdfs
d*y
5 楼
老哥 你也到这混？
B*g
6 楼
yarn
【在 S*******e 的大作中提到】
: 你们是用standalone mode, 还是over Hadoop/HDFS？ 要是standalone mode, 怎么处
: 理‘cluster’ 的 filesystem？
: 用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
: with SPARK， 只需要4分钟（1 billion records）。 曾用 Hadoop's MR在40个
: datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
: 出错.
: 现在， 自己组里想搭建一个小的spark cluster。 不知是用standalone mode， 还是
: over hdfs。
【在 S*******e 的大作中提到】
: 你们是用standalone mode, 还是over Hadoop/HDFS？ 要是standalone mode, 怎么处
: 理‘cluster’ 的 filesystem？
: 用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
: with SPARK， 只需要4分钟（1 billion records）。 曾用 Hadoop's MR在40个
: datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
: 出错.
: 现在， 自己组里想搭建一个小的spark cluster。 不知是用standalone mode， 还是
: over hdfs。
e*r
7 楼
高中生么
is
Lawrence
in
【在 c**i 的大作中提到】
: John Pomfret, China pushing the envelope on science, and sometimes ethics;
: The Other Superpower. Washington Post, June 28, 2010.
: http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
: Note:
: (a) Zhao Bowen I cannot find his Chinese name. However, his English name is
: listed in a paper, where his affiliation was "High School Affiliated to
: Renmin University of China, Beijing, China" 人大附中.
: www.rdfz.cn/
: ("位于北京市中关村高科技园区的中心地带，是北京市首批示范高中校")
: Huang SW et al, The genome
is
Lawrence
in
【在 c**i 的大作中提到】
: John Pomfret, China pushing the envelope on science, and sometimes ethics;
: The Other Superpower. Washington Post, June 28, 2010.
: http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
: Note:
: (a) Zhao Bowen I cannot find his Chinese name. However, his English name is
: listed in a paper, where his affiliation was "High School Affiliated to
: Renmin University of China, Beijing, China" 人大附中.
: www.rdfz.cn/
: ("位于北京市中关村高科技园区的中心地带，是北京市首批示范高中校")
: Huang SW et al, The genome
S*e
8 楼
谢各位大牛。
c*i
9 楼
Yes.
【在 e**r 的大作中提到】
: 高中生么
:
: is
: Lawrence
: in
【在 e**r 的大作中提到】
: 高中生么
:
: is
: Lawrence
: in
p*2
10 楼
我们是standalone然后C＊
我们公司会上yarn
【在 S*******e 的大作中提到】
: 谢各位大牛。
B*g
11 楼
有用hdfs吗？
【在 p*****2 的大作中提到】
:
: 我们是standalone然后C＊
: 我们公司会上yarn
【在 p*****2 的大作中提到】
:
: 我们是standalone然后C＊
: 我们公司会上yarn
c*o
12 楼
基本上我们和二爷的完全不一样。。。
kinesis + mesos + hdfs
二爷是
kafka + yarn + Cassandra
我们也在找办法用Cassandra.
kinesis + mesos + hdfs
二爷是
kafka + yarn + Cassandra
我们也在找办法用Cassandra.
p*2
13 楼
也考虑。据说yarn上有优化。
【在 B*****g 的大作中提到】
: 有用hdfs吗？
p*2
14 楼
datastax的人很难缠
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
B*g
15 楼
数据怎么搞到C＊上快？
【在 p*****2 的大作中提到】
:
: datastax的人很难缠
【在 p*****2 的大作中提到】
:
: datastax的人很难缠
z*e
16 楼
这是打算弃用mongo的一种表达吗？
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
z*e
17 楼
问你一个问题
上次有人说游戏公司用hbase的比较多
你们用了吗？
hbase能tune成ap系统不？
强cp带来的性能上的下降怎么办？
异步？
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
上次有人说游戏公司用hbase的比较多
你们用了吗？
hbase能tune成ap系统不？
强cp带来的性能上的下降怎么办？
异步？
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
p*2
18 楼
我们是storm直接写
【在 B*****g 的大作中提到】
: 数据怎么搞到C＊上快？
【在 B*****g 的大作中提到】
: 数据怎么搞到C＊上快？
B*g
19 楼
晕倒，难道还得上storm，哭死
【在 p*****2 的大作中提到】
: 我们是storm直接写
【在 p*****2 的大作中提到】
: 我们是storm直接写
c*o
20 楼
我这个组做的不是游戏，是平台。
tracking/reward/payment/website/BI
我们用mongo做 tracking/reward， HDFS/C*做BI
【在 z****e 的大作中提到】
: 问你一个问题
: 上次有人说游戏公司用hbase的比较多
: 你们用了吗？
: hbase能tune成ap系统不？
: 强cp带来的性能上的下降怎么办？
: 异步？
tracking/reward/payment/website/BI
我们用mongo做 tracking/reward， HDFS/C*做BI
【在 z****e 的大作中提到】
: 问你一个问题
: 上次有人说游戏公司用hbase的比较多
: 你们用了吗？
: hbase能tune成ap系统不？
: 强cp带来的性能上的下降怎么办？
: 异步？
z*e
21 楼
多谢
不过你们原始数据放在哪？
db里面？
还是没有一个集中的数据库
各个组自己用自己的？
你们payment也用nosql做？transaction怎么办？
自己实现？
【在 c******o 的大作中提到】
: 我这个组做的不是游戏，是平台。
: tracking/reward/payment/website/BI
: 我们用mongo做 tracking/reward， HDFS/C*做BI
不过你们原始数据放在哪？
db里面？
还是没有一个集中的数据库
各个组自己用自己的？
你们payment也用nosql做？transaction怎么办？
自己实现？
【在 c******o 的大作中提到】
: 我这个组做的不是游戏，是平台。
: tracking/reward/payment/website/BI
: 我们用mongo做 tracking/reward， HDFS/C*做BI
c*o
22 楼
payment mysql
数据当然是各有各的,再互联。
数据当然是各有各的,再互联。
p*2
23 楼
可以直接上spark streaming
【在 B*****g 的大作中提到】
: 晕倒，难道还得上storm，哭死
g*9
24 楼
C＊ 是啥？ Cassandra?
【在 B*****g 的大作中提到】
: 数据怎么搞到C＊上快？
【在 B*****g 的大作中提到】
: 数据怎么搞到C＊上快？
z*3
25 楼
总要有个像样的server吧？
tomcat之类的，或者main+spring也就是core java那种方式
或者高大上点，有啥jms之类的event driven的一个东西
总有个像样的java程序往cassandra里面写东西吧？
persistence和business logic在不同的layer，如果凑到一起会出问题的
你是不是用store procedure用习惯了？
现在没有了这么一个东西，有些不适应？
【在 B*****g 的大作中提到】
: 晕倒，难道还得上storm，哭死
tomcat之类的，或者main+spring也就是core java那种方式
或者高大上点，有啥jms之类的event driven的一个东西
总有个像样的java程序往cassandra里面写东西吧？
persistence和business logic在不同的layer，如果凑到一起会出问题的
你是不是用store procedure用习惯了？
现在没有了这么一个东西，有些不适应？
【在 B*****g 的大作中提到】
: 晕倒，难道还得上storm，哭死
j*x
26 楼
你们在用kinesis？
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.
B*g
27 楼
除非迫不得已，否则就用已经有的
【在 z*******3 的大作中提到】
: 总要有个像样的server吧？
: tomcat之类的，或者main+spring也就是core java那种方式
: 或者高大上点，有啥jms之类的event driven的一个东西
: 总有个像样的java程序往cassandra里面写东西吧？
: persistence和business logic在不同的layer，如果凑到一起会出问题的
: 你是不是用store procedure用习惯了？
: 现在没有了这么一个东西，有些不适应？
【在 z*******3 的大作中提到】
: 总要有个像样的server吧？
: tomcat之类的，或者main+spring也就是core java那种方式
: 或者高大上点，有啥jms之类的event driven的一个东西
: 总有个像样的java程序往cassandra里面写东西吧？
: persistence和business logic在不同的layer，如果凑到一起会出问题的
: 你是不是用store procedure用习惯了？
: 现在没有了这么一个东西，有些不适应？
z*e
28 楼
这样的话，你们会被vendor lockin的
因为同一个vendor肯定会有一堆相关产品
最后会被这种插管吸血吸死，我见过好几个这样的公司了
自己动手，哪怕构架一塌糊涂，但是survive的几率要大很多
【在 B*****g 的大作中提到】
: 除非迫不得已，否则就用已经有的
因为同一个vendor肯定会有一堆相关产品
最后会被这种插管吸血吸死，我见过好几个这样的公司了
自己动手，哪怕构架一塌糊涂，但是survive的几率要大很多
【在 B*****g 的大作中提到】
: 除非迫不得已，否则就用已经有的
相关阅读
医学研究这个极其复杂的系统Re: 审稿机会请问有熟悉Thermo Quantstudio Open Array的同学吗？求问大神 science transnational medicine 审稿状态忍无可忍，上来抱怨以下信号转导和癌症的研究生物解决了啥问题哈弗的肯尼迪学院好不好申请入读？天天想着海龟 得了老年焦虑症生物的世纪来临了吗？寻生物领域 Grant application 写手国会听证：中国学术间谍蔓延美国高校？【转】知社圈：我为什么离开学术圈 (转载)这才是真正的生物学家218岁之后学外语就很难了生物相关背景，有Grant有生物学背景的临床实验室技术员生物学女博士，其实在一开始，就赢在了婚姻的起跑线上头越大越聪明？别给自己的智商找借口了s1305c谢谢申请医生助理版，请大家去支持