Redian新闻
>
Great Leap Forward of China's Science
avatar
S*e
2
你们是用standalone mode, 还是over Hadoop/HDFS? 要是standalone mode, 怎么处
理‘cluster’ 的 filesystem?
用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
with SPARK, 只需要4分钟(1 billion records)。 曾用 Hadoop's MR在40个
datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
出错.
现在, 自己组里想搭建一个小的spark cluster。 不知是用standalone mode, 还是
over hdfs。
avatar
c*i
3
John Pomfret, China pushing the envelope on science, and sometimes ethics;
The Other Superpower. Washington Post, June 28, 2010.
http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
Note:
(a) Zhao Bowen I cannot find his Chinese name. However, his English name is
listed in a paper, where his affiliation was "High School Affiliated to
Renmin University of China, Beijing, China" 人大附中.
www.rdfz.cn/
("位于北京市中关村高科技园区的中心地带,是北京市首批示范高中校")
Huang SW et al, The genome
avatar
c*o
4
over hdfs
avatar
d*y
5
老哥 你也到这混?
avatar
B*g
6
yarn

【在 S*******e 的大作中提到】
: 你们是用standalone mode, 还是over Hadoop/HDFS? 要是standalone mode, 怎么处
: 理‘cluster’ 的 filesystem?
: 用了别人的10个datanode的Hadoop cluster 试SPARK。 Count records in files
: with SPARK, 只需要4分钟(1 billion records)。 曾用 Hadoop's MR在40个
: datanode上至少要用 三十几分钟。这个该死的40datanode现在试不了SPARK -- 老给我
: 出错.
: 现在, 自己组里想搭建一个小的spark cluster。 不知是用standalone mode, 还是
: over hdfs。

avatar
e*r
7
高中生么

is
Lawrence
in

【在 c**i 的大作中提到】
: John Pomfret, China pushing the envelope on science, and sometimes ethics;
: The Other Superpower. Washington Post, June 28, 2010.
: http://www.washingtonpost.com/wp-dyn/content/article/2010/06/27/AR2010062703639.html?sub=AR
: Note:
: (a) Zhao Bowen I cannot find his Chinese name. However, his English name is
: listed in a paper, where his affiliation was "High School Affiliated to
: Renmin University of China, Beijing, China" 人大附中.
: www.rdfz.cn/
: ("位于北京市中关村高科技园区的中心地带,是北京市首批示范高中校")
: Huang SW et al, The genome

avatar
S*e
8
谢各位大牛。
avatar
c*i
9
Yes.

【在 e**r 的大作中提到】
: 高中生么
:
: is
: Lawrence
: in

avatar
p*2
10

我们是standalone然后C*
我们公司会上yarn

【在 S*******e 的大作中提到】
: 谢各位大牛。
avatar
B*g
11
有用hdfs吗?

【在 p*****2 的大作中提到】
:
: 我们是standalone然后C*
: 我们公司会上yarn

avatar
c*o
12
基本上我们和二爷的完全不一样。。。
kinesis + mesos + hdfs
二爷是
kafka + yarn + Cassandra
我们也在找办法用Cassandra.
avatar
p*2
13

也考虑。据说yarn上有优化。

【在 B*****g 的大作中提到】
: 有用hdfs吗?
avatar
p*2
14

datastax的人很难缠

【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.

avatar
B*g
15
数据怎么搞到C*上快?

【在 p*****2 的大作中提到】
:
: datastax的人很难缠

avatar
z*e
16
这是打算弃用mongo的一种表达吗?

【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.

avatar
z*e
17
问你一个问题
上次有人说游戏公司用hbase的比较多
你们用了吗?
hbase能tune成ap系统不?
强cp带来的性能上的下降怎么办?
异步?

【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.

avatar
p*2
18
我们是storm直接写

【在 B*****g 的大作中提到】
: 数据怎么搞到C*上快?
avatar
B*g
19
晕倒,难道还得上storm,哭死

【在 p*****2 的大作中提到】
: 我们是storm直接写
avatar
c*o
20
我这个组做的不是游戏,是平台。
tracking/reward/payment/website/BI
我们用mongo做 tracking/reward, HDFS/C*做BI

【在 z****e 的大作中提到】
: 问你一个问题
: 上次有人说游戏公司用hbase的比较多
: 你们用了吗?
: hbase能tune成ap系统不?
: 强cp带来的性能上的下降怎么办?
: 异步?

avatar
z*e
21
多谢
不过你们原始数据放在哪?
db里面?
还是没有一个集中的数据库
各个组自己用自己的?
你们payment也用nosql做?transaction怎么办?
自己实现?

【在 c******o 的大作中提到】
: 我这个组做的不是游戏,是平台。
: tracking/reward/payment/website/BI
: 我们用mongo做 tracking/reward, HDFS/C*做BI

avatar
c*o
22
payment mysql
数据当然是各有各的,再互联。
avatar
p*2
23

可以直接上spark streaming

【在 B*****g 的大作中提到】
: 晕倒,难道还得上storm,哭死
avatar
g*9
24
C* 是啥? Cassandra?

【在 B*****g 的大作中提到】
: 数据怎么搞到C*上快?
avatar
z*3
25
总要有个像样的server吧?
tomcat之类的,或者main+spring也就是core java那种方式
或者高大上点,有啥jms之类的event driven的一个东西
总有个像样的java程序往cassandra里面写东西吧?
persistence和business logic在不同的layer,如果凑到一起会出问题的
你是不是用store procedure用习惯了?
现在没有了这么一个东西,有些不适应?

【在 B*****g 的大作中提到】
: 晕倒,难道还得上storm,哭死
avatar
j*x
26
你们在用kinesis?

【在 c******o 的大作中提到】
: 基本上我们和二爷的完全不一样。。。
: kinesis + mesos + hdfs
: 二爷是
: kafka + yarn + Cassandra
: 我们也在找办法用Cassandra.

avatar
B*g
27
除非迫不得已,否则就用已经有的

【在 z*******3 的大作中提到】
: 总要有个像样的server吧?
: tomcat之类的,或者main+spring也就是core java那种方式
: 或者高大上点,有啥jms之类的event driven的一个东西
: 总有个像样的java程序往cassandra里面写东西吧?
: persistence和business logic在不同的layer,如果凑到一起会出问题的
: 你是不是用store procedure用习惯了?
: 现在没有了这么一个东西,有些不适应?

avatar
z*e
28
这样的话,你们会被vendor lockin的
因为同一个vendor肯定会有一堆相关产品
最后会被这种插管吸血吸死,我见过好几个这样的公司了
自己动手,哪怕构架一塌糊涂,但是survive的几率要大很多

【在 B*****g 的大作中提到】
: 除非迫不得已,否则就用已经有的
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。