spark 到底牛在什么地方？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

spark 到底牛在什么地方？

spark 到底牛在什么地方？# Programming - 葵花宝典

c*t2014-08-21 07:08

1 楼

童鞋们……这个现在要多久能拿到呢？
多谢！

B*n2014-08-21 07:08

2 楼

难道是因为所有计算都是in memory的？看了databrick 的demo，每个cluster的内存都
是上千G的。
但内存大的话计算显然快呀，这idea不是很简单么？
新手，求科普，谢谢

ad2014-08-21 07:08

3 楼

有人等了一个月，最后实在忍不了了（他要用护照），找领事馆把护照拿回来，没有贴
签证。。。签证费白交了
保险起见还是递签吧

【在 c*****t 的大作中提到】

: 童鞋们……这个现在要多久能拿到呢？
: 多谢！

n*t2014-08-21 07:08

4 楼

牛在it能骗钱。

【在 B***n 的大作中提到】

: 难道是因为所有计算都是in memory的？看了databrick 的demo，每个cluster的内存都
: 是上千G的。
: 但内存大的话计算显然快呀，这idea不是很简单么？
: 新手，求科普，谢谢

l*m2014-08-21 07:08

5 楼

RDD is a critical and fundamental part of spark.

【在 B***n 的大作中提到】

s*k2014-08-21 07:08

6 楼

一直没搞懂这个RDD,到底牛在什么地方

【在 l*******m 的大作中提到】

: RDD is a critical and fundamental part of spark.

p*22014-08-21 07:08

7 楼

干就很牛轧

【在 s********k 的大作中提到】

: 一直没搞懂这个RDD,到底牛在什么地方

z*g2014-08-21 07:08

8 楼

RDD can provide fault tolerance for in-memory intermediate result by only
storing very small amount of data on persistent storage. This is
particularly useful for iterative algorithms, since there is intermediate
result involved. Although in case there is not enough memory, Spark performs
exactly like Hadoop.

【在 s********k 的大作中提到】

: 一直没搞懂这个RDD,到底牛在什么地方

z*g2014-08-21 07:08

9 楼

There is nothing new about in-memory. The key point is that RDD can achieve
fault tolerance for intermediate computation results without having to
writing the whole data back to disk.