avatar
都用了spark了吗?# DataSciences - 数据科学
o*e
1
http://motherboard.vice.com/blog/to-get-your-kickstarter-funded
【 以下文字转载自 SanFrancisco 讨论区 】
发信人: icruiser (iCruiser (爱伺机摸人)), 信区: SanFrancisco
标 题: 湾区创业者交流
发信站: BBS 未名空间站 (Wed Jan 15 03:35:52 2014, 美东)
如果您是自己创业的,只要full time做,欢迎一起交流。我可以提供会议室,大家有
空聚聚,大到行业发展,小到找谁做帐会计,都可以畅所欲言。没有人比真正做事要了
解其中的酸甜苦辣,好在孤独路非一人走,大家一起交流能互相帮助,取经。
鄙人不爱空谈,不谈what,更爱谈how;不喜欢听idea,喜欢聊plan和action;不爱谈
年薪和贫困线,更爱谈如何度过没有收入的寒冬。如果你已经年收入millions, 我们希
望您来指导;如果你还在投入无盈利,我们可以探讨如何解决。无论您搞硬还是软,甚
至不是IT,我想无所谓,business有common ground。 我希望这个group很单纯,做事
而已。
就叫94000吧,期待你加入。
avatar
z*e
2
1.0发布了
据说比hadoop的mapreduce快100多倍
avatar
n*m
3
How to join?
avatar
w*g
4
都存内存里快100多倍自然没啥。如果都存磁盘,比mapr上的hadoop还快100多倍的话,
我都要给他下跪了。

【在 z****e 的大作中提到】
: 1.0发布了
: 据说比hadoop的mapreduce快100多倍

avatar
o*e
5
contact icruiser?
CMAIN also has this active facebook group:
https://www.facebook.com/groups/CCCN.CMAIN/
This organization is also active in the bay area,
it has lots of taiwanese but it's good to reach out
to the taiwanese:
Svcef.org
best wishes for your startup
avatar
z*e
6
说是内存操作快100倍,硬盘上的操作快10倍

【在 w***g 的大作中提到】
: 都存内存里快100多倍自然没啥。如果都存磁盘,比mapr上的hadoop还快100多倍的话,
: 我都要给他下跪了。

avatar
l*m
7
公司有了个cluster. 如果要爽些,估计还是要写scala. 准备在家里装一个,下一个个
人项目用一下

【在 z****e 的大作中提到】
: 1.0发布了
: 据说比hadoop的mapreduce快100多倍

avatar
c*f
8
小组一直在用
avatar
B*g
9
用scala还是java?

【在 c******f 的大作中提到】
: 小组一直在用
avatar
h*7
10
主要是内存块,但是硬盘操作也快
综合快很多,cluster越大越明显
实现所需代码简单,没有太多附加冗余
安装简单,软件极轻
几乎每一样都是要害

【在 w***g 的大作中提到】
: 都存内存里快100多倍自然没啥。如果都存磁盘,比mapr上的hadoop还快100多倍的话,
: 我都要给他下跪了。

avatar
o*o
11
下一个来玩玩
avatar
s*X
12
那个spark sql教程不详啊
avatar
e*n
13
用hadoop+python的掩面走过。。。
avatar
c*z
14
大牛们有什么好的tutorial么
最近准备上spark了
多谢多谢!
avatar
z*3
18

那个
java其实可以不看文档直接盲狙的
用eclipse就可以找方法,然后那些方法名
你看了之后,应该就有点idea了

【在 c***z 的大作中提到】
: 大牛们有什么好的tutorial么
: 最近准备上spark了
: 多谢多谢!

avatar
S*e
19
写的很棒。
我们小组(在很大的Telecom)现在才开始想用HADOOP,在实验室的40节点上做了一个
prototyp, 我们可以在4分钟完成一天数据的处理。 现在的Oracle code 需要4,5个
小时才处理7%的数据。
只是现在看SPRAK,Hadoop好像已过时了(我们还没开始呢)。 看样子,Spark 可以做
near realtime了。我们的大头对STREAMING 特感兴趣,可他对具体技术一点不通(但
他有极强的分析能力和domain knowledge)。 几天前我看了Hadoop's Streaming, 似乎
根本不是通常意义上的streaming。 SPARK 的streaming 好像是我们需要的。

【在 j*******g 的大作中提到】
: 同胞写的最透彻
: https://github.com/JerryLead/SparkInternals/tree/master/markdown

avatar
n*3
20
spark streaming is the king to be.... I think for sure...
Our group will start to use it later this month, but
there are no scala expert in our group now; a conjure niuren though...

似乎

【在 S*******e 的大作中提到】
: 写的很棒。
: 我们小组(在很大的Telecom)现在才开始想用HADOOP,在实验室的40节点上做了一个
: prototyp, 我们可以在4分钟完成一天数据的处理。 现在的Oracle code 需要4,5个
: 小时才处理7%的数据。
: 只是现在看SPRAK,Hadoop好像已过时了(我们还没开始呢)。 看样子,Spark 可以做
: near realtime了。我们的大头对STREAMING 特感兴趣,可他对具体技术一点不通(但
: 他有极强的分析能力和domain knowledge)。 几天前我看了Hadoop's Streaming, 似乎
: 根本不是通常意义上的streaming。 SPARK 的streaming 好像是我们需要的。

avatar
S*e
21
好! 希望有机会交流。 用Java不也可以吗? 是不是典型的应用是用scala?

【在 n*****3 的大作中提到】
: spark streaming is the king to be.... I think for sure...
: Our group will start to use it later this month, but
: there are no scala expert in our group now; a conjure niuren though...
:
: 似乎

avatar
c*f
22
我们组去年就开始用spark做batch processing了
我最近拿了个project,要design spark streaming
参考了lambda architecture把batch / real time结合了
很欢乐
avatar
n*3
23
spark is written in scala , so i think if u need the lstest features, scala
is the
best choice

【在 S*******e 的大作中提到】
: 好! 希望有机会交流。 用Java不也可以吗? 是不是典型的应用是用scala?
avatar
z*3
24
无所谓
java和scala可以互相call
所有scala的东西都可以被java所用
反之亦然
都在同一个jvm上,都是byte code
机器可不管是java还是scala写的
而且从我们经验看,用java还更好
因为用scala会乱写,造成不必要的混乱
现在对scala几乎所有的抱怨都集中在代码书写的混乱上
权力太大不是好事,就象一个兵崽都能发射核弹一样

scala

【在 n*****3 的大作中提到】
: spark is written in scala , so i think if u need the lstest features, scala
: is the
: best choice

avatar
z*3
25
恭喜,oracle这种东西,就应该被淘汰
任何用license插管吸血的软件,都应该被市场干掉

似乎

【在 S*******e 的大作中提到】
: 写的很棒。
: 我们小组(在很大的Telecom)现在才开始想用HADOOP,在实验室的40节点上做了一个
: prototyp, 我们可以在4分钟完成一天数据的处理。 现在的Oracle code 需要4,5个
: 小时才处理7%的数据。
: 只是现在看SPRAK,Hadoop好像已过时了(我们还没开始呢)。 看样子,Spark 可以做
: near realtime了。我们的大头对STREAMING 特感兴趣,可他对具体技术一点不通(但
: 他有极强的分析能力和domain knowledge)。 几天前我看了Hadoop's Streaming, 似乎
: 根本不是通常意义上的streaming。 SPARK 的streaming 好像是我们需要的。

avatar
c*z
26
谢谢各位大牛!
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。