都用了spark了吗？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

都用了spark了吗？

都用了spark了吗？# DataSciences - 数据科学

o*e2014-08-17 07:08

1 楼

http://motherboard.vice.com/blog/to-get-your-kickstarter-funded
【以下文字转载自 SanFrancisco 讨论区】
发信人: icruiser (iCruiser (爱伺机摸人)), 信区: SanFrancisco
标题: 湾区创业者交流
发信站: BBS 未名空间站 (Wed Jan 15 03:35:52 2014, 美东)
如果您是自己创业的，只要full time做，欢迎一起交流。我可以提供会议室，大家有
空聚聚，大到行业发展，小到找谁做帐会计，都可以畅所欲言。没有人比真正做事要了
解其中的酸甜苦辣，好在孤独路非一人走，大家一起交流能互相帮助，取经。
鄙人不爱空谈，不谈what，更爱谈how；不喜欢听idea，喜欢聊plan和action；不爱谈
年薪和贫困线，更爱谈如何度过没有收入的寒冬。如果你已经年收入millions, 我们希
望您来指导；如果你还在投入无盈利，我们可以探讨如何解决。无论您搞硬还是软，甚
至不是IT，我想无所谓，business有common ground。我希望这个group很单纯，做事
而已。
就叫94000吧，期待你加入。

z*e2014-08-17 07:08

2 楼

1.0发布了
据说比hadoop的mapreduce快100多倍

n*m2014-08-17 07:08

3 楼

How to join?

w*g2014-08-17 07:08

4 楼

都存内存里快100多倍自然没啥。如果都存磁盘，比mapr上的hadoop还快100多倍的话，
我都要给他下跪了。

【在 z****e 的大作中提到】

: 1.0发布了
: 据说比hadoop的mapreduce快100多倍

o*e2014-08-17 07:08

5 楼

contact icruiser?
CMAIN also has this active facebook group:
https://www.facebook.com/groups/CCCN.CMAIN/
This organization is also active in the bay area,
it has lots of taiwanese but it's good to reach out
to the taiwanese:
Svcef.org
best wishes for your startup

z*e2014-08-17 07:08

6 楼

说是内存操作快100倍，硬盘上的操作快10倍

【在 w***g 的大作中提到】

: 都存内存里快100多倍自然没啥。如果都存磁盘，比mapr上的hadoop还快100多倍的话，
: 我都要给他下跪了。

l*m2014-08-17 07:08

7 楼

公司有了个cluster. 如果要爽些，估计还是要写scala. 准备在家里装一个，下一个个
人项目用一下

【在 z****e 的大作中提到】

: 1.0发布了
: 据说比hadoop的mapreduce快100多倍

c*f2014-08-17 07:08

8 楼

小组一直在用

B*g2014-08-17 07:08

9 楼

用scala还是java？

【在 c******f 的大作中提到】

: 小组一直在用

h*72014-08-17 07:08

10 楼

主要是内存块，但是硬盘操作也快
综合快很多，cluster越大越明显
实现所需代码简单，没有太多附加冗余
安装简单，软件极轻
几乎每一样都是要害

【在 w***g 的大作中提到】

: 都存内存里快100多倍自然没啥。如果都存磁盘，比mapr上的hadoop还快100多倍的话，
: 我都要给他下跪了。

o*o2014-08-17 07:08

11 楼

下一个来玩玩

s*X2014-08-17 07:08

12 楼

那个spark sql教程不详啊

e*n2014-08-17 07:08

13 楼

用hadoop+python的掩面走过。。。

c*z2014-08-17 07:08

14 楼

大牛们有什么好的tutorial么
最近准备上spark了
多谢多谢！

j*g2014-08-17 07:08

15 楼

同胞写的最透彻
https://github.com/JerryLead/SparkInternals/tree/master/markdown

【在 c***z 的大作中提到】

: 大牛们有什么好的tutorial么
: 最近准备上spark了
: 多谢多谢！

n*32014-08-17 07:08

16 楼

very good, thanks man!

【在 j*******g 的大作中提到】

: 同胞写的最透彻
: https://github.com/JerryLead/SparkInternals/tree/master/markdown

B*g2014-08-17 07:08

17 楼

ding

【在 j*******g 的大作中提到】

: 同胞写的最透彻
: https://github.com/JerryLead/SparkInternals/tree/master/markdown

z*32014-08-17 07:08

18 楼

嗯
那个
java其实可以不看文档直接盲狙的
用eclipse就可以找方法，然后那些方法名
你看了之后，应该就有点idea了

【在 c***z 的大作中提到】

: 大牛们有什么好的tutorial么
: 最近准备上spark了
: 多谢多谢！

S*e2014-08-17 07:08

19 楼

写的很棒。
我们小组（在很大的Telecom)现在才开始想用HADOOP，在实验室的40节点上做了一个
prototyp，我们可以在4分钟完成一天数据的处理。现在的Oracle code 需要4，5个
小时才处理7%的数据。
只是现在看SPRAK,Hadoop好像已过时了（我们还没开始呢）。看样子，Spark 可以做
near realtime了。我们的大头对STREAMING 特感兴趣，可他对具体技术一点不通（但
他有极强的分析能力和domain knowledge）。几天前我看了Hadoop's Streaming，似乎
根本不是通常意义上的streaming。 SPARK 的streaming 好像是我们需要的。

【在 j*******g 的大作中提到】

: 同胞写的最透彻
: https://github.com/JerryLead/SparkInternals/tree/master/markdown

n*32014-08-17 07:08

20 楼

spark streaming is the king to be.... I think for sure...
Our group will start to use it later this month, but
there are no scala expert in our group now; a conjure niuren though...

似乎

【在 S*******e 的大作中提到】

: 写的很棒。
: 我们小组（在很大的Telecom)现在才开始想用HADOOP，在实验室的40节点上做了一个
: prototyp，我们可以在4分钟完成一天数据的处理。现在的Oracle code 需要4，5个
: 小时才处理7%的数据。
: 只是现在看SPRAK,Hadoop好像已过时了（我们还没开始呢）。看样子，Spark 可以做
: near realtime了。我们的大头对STREAMING 特感兴趣，可他对具体技术一点不通（但
: 他有极强的分析能力和domain knowledge）。几天前我看了Hadoop's Streaming，似乎
: 根本不是通常意义上的streaming。 SPARK 的streaming 好像是我们需要的。

S*e2014-08-17 07:08

21 楼

好！希望有机会交流。用Java不也可以吗？是不是典型的应用是用scala？

【在 n*****3 的大作中提到】

: spark streaming is the king to be.... I think for sure...
: Our group will start to use it later this month, but
: there are no scala expert in our group now; a conjure niuren though...
:
: 似乎

c*f2014-08-17 07:08

22 楼

我们组去年就开始用spark做batch processing了
我最近拿了个project，要design spark streaming
参考了lambda architecture把batch / real time结合了
很欢乐

n*32014-08-17 07:08

23 楼

spark is written in scala , so i think if u need the lstest features, scala
is the
best choice

【在 S*******e 的大作中提到】

: 好！希望有机会交流。用Java不也可以吗？是不是典型的应用是用scala？

z*32014-08-17 07:08

24 楼

无所谓
java和scala可以互相call
所有scala的东西都可以被java所用
反之亦然
都在同一个jvm上，都是byte code
机器可不管是java还是scala写的
而且从我们经验看，用java还更好
因为用scala会乱写，造成不必要的混乱
现在对scala几乎所有的抱怨都集中在代码书写的混乱上
权力太大不是好事，就象一个兵崽都能发射核弹一样

scala

【在 n*****3 的大作中提到】

: spark is written in scala , so i think if u need the lstest features, scala
: is the
: best choice

z*32014-08-17 07:08

25 楼

恭喜，oracle这种东西，就应该被淘汰
任何用license插管吸血的软件，都应该被市场干掉

似乎

【在 S*******e 的大作中提到】

c*z2014-08-17 07:08

26 楼

谢谢各位大牛！