学Hadoop还是spark# Programming - 葵花宝典
y*u
1 楼
周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
l*2
2 楼
苹果4可以解锁吗？
不是卡贴的那种。
不是卡贴的那种。
b*h
3 楼
粗看了一下，两者的功能重叠，现在哪种值得学？
目标是做backend
目标是做backend
t*f
4 楼
压力坑？
c*9
5 楼
spark
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
l*e
6 楼
你在哪里？
“都至少学3种乐器”，还有这等事？
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
“都至少学3种乐器”，还有这等事？
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
d*n
7 楼
这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
框架了。
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
框架了。
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
n*h
8 楼
明显就是个坑。就算郎郎，学一年能弹肖邦也不容易啊。
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
T*x
9 楼
都是什么框架？
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
G*e
10 楼
没有比较，就没有烦恼
世上本无事，庸人自扰之
世上本无事，庸人自扰之
b*h
11 楼
谢回答。那用来替换基础的东西是什么呢？（pig，hbase是不是被spark替代了？）
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
b*g
12 楼
估计吹口哨摇沙锤敲三角铁也算上了。
【在 l*******e 的大作中提到】
: 你在哪里？
: “都至少学3种乐器”，还有这等事？
【在 l*******e 的大作中提到】
: 你在哪里？
: “都至少学3种乐器”，还有这等事？
n*w
13 楼
hive 没有被spark SQL代替？
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
【在 d****n 的大作中提到】
: 这是啥问题？hadoop只不过是一堆工具的整合，没所谓学啥。
: 我们现在基本不用基础的东西例如pig, hbase了，hive还用，hdfs一直用。剩下的都是
: 框架了。
b*g
14 楼
进步太慢了，才肖邦，学了一年至少也要会弹交响乐了吧。
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
【在 y**u 的大作中提到】
: 周围的老中的孩子都至少学3种乐器，我家的这个好说带说才学了钢琴，现在学了1年多
: 也就会弹肖邦。像在学一个小提琴，怎么都不愿意，怎么办啊？
w*g
15 楼
hive可以被spark SQL替代。几年前就有了。现在再上hive我觉得不值。
就spark好了。
【在 n*w 的大作中提到】
: hive 没有被spark SQL代替？
就spark好了。
【在 n*w 的大作中提到】
: hive 没有被spark SQL代替？
D*R
16 楼
三种乐器？gymboree的沙锤摇铃响板？
n*w
17 楼
hadoop 留下来的没有新的替代品就是HDFS了？
【在 w***g 的大作中提到】
: hive可以被spark SQL替代。几年前就有了。现在再上hive我觉得不值。
: 就spark好了。
【在 w***g 的大作中提到】
: hive可以被spark SQL替代。几年前就有了。现在再上hive我觉得不值。
: 就spark好了。
m*r
18 楼
这个你就孤陋寡闻了，
我家孩子不到半年就弹那个什么艾利斯很好了，然后一年就学校帮和拔河了。可是以后
没兴趣再也不进步了，现在已经不学了。
自己在家里面吹笛子，不知道怎么鼓捣出来了。
又到学校学什么viola。
酸酸三样，没一样真拿得出手。可惜极有天赋的钢琴学生，没兴趣啊。
【在 n********h 的大作中提到】
: 明显就是个坑。就算郎郎，学一年能弹肖邦也不容易啊。
我家孩子不到半年就弹那个什么艾利斯很好了，然后一年就学校帮和拔河了。可是以后
没兴趣再也不进步了，现在已经不学了。
自己在家里面吹笛子，不知道怎么鼓捣出来了。
又到学校学什么viola。
酸酸三样，没一样真拿得出手。可惜极有天赋的钢琴学生，没兴趣啊。
【在 n********h 的大作中提到】
: 明显就是个坑。就算郎郎，学一年能弹肖邦也不容易啊。
w*g
19 楼
是。但是对一般人来说HDFS作用也越来越小了。
讲真如果真要学东西还是sklearn和python那套ecosystem比较好。
【在 n*w 的大作中提到】
: hadoop 留下来的没有新的替代品就是HDFS了？
讲真如果真要学东西还是sklearn和python那套ecosystem比较好。
【在 n*w 的大作中提到】
: hadoop 留下来的没有新的替代品就是HDFS了？
e*e
20 楼
你这是不放弃任何机会bso
【在 m*******r 的大作中提到】
: 这个你就孤陋寡闻了，
: 我家孩子不到半年就弹那个什么艾利斯很好了，然后一年就学校帮和拔河了。可是以后
: 没兴趣再也不进步了，现在已经不学了。
: 自己在家里面吹笛子，不知道怎么鼓捣出来了。
: 又到学校学什么viola。
: 酸酸三样，没一样真拿得出手。可惜极有天赋的钢琴学生，没兴趣啊。
【在 m*******r 的大作中提到】
: 这个你就孤陋寡闻了，
: 我家孩子不到半年就弹那个什么艾利斯很好了，然后一年就学校帮和拔河了。可是以后
: 没兴趣再也不进步了，现在已经不学了。
: 自己在家里面吹笛子，不知道怎么鼓捣出来了。
: 又到学校学什么viola。
: 酸酸三样，没一样真拿得出手。可惜极有天赋的钢琴学生，没兴趣啊。
d*n
21 楼
无非是三驾老马车：kafka, spark, storm。新马车正在evaluate中。
【在 T*******x 的大作中提到】
: 都是什么框架？
【在 T*******x 的大作中提到】
: 都是什么框架？
h*3
22 楼
几年以前都听说小朋友至少要学两种乐器。现在都增加到３种了吗？
d*n
23 楼
pig应该是没人写了。用spark sql来操作hive和文件。
【在 n*w 的大作中提到】
: hive 没有被spark SQL代替？
【在 n*w 的大作中提到】
: hive 没有被spark SQL代替？
d*r
24 楼
storm这种stream型还不能被spark这种完全取代?
【在 d****n 的大作中提到】
: 无非是三驾老马车：kafka, spark, storm。新马车正在evaluate中。
【在 d****n 的大作中提到】
: 无非是三驾老马车：kafka, spark, storm。新马车正在evaluate中。
w*z
25 楼
storm 没啥用了吧？
【在 d****n 的大作中提到】
: 无非是三驾老马车：kafka, spark, storm。新马车正在evaluate中。
【在 d****n 的大作中提到】
: 无非是三驾老马车：kafka, spark, storm。新马车正在evaluate中。
d*n
26 楼
那你们用啥取代storm？
【在 w**z 的大作中提到】
: storm 没啥用了吧？
【在 w**z 的大作中提到】
: storm 没啥用了吧？
b*h
27 楼
那scala现在还值得学吗？用spark的话
w*z
28 楼
我们用自己的 stream processing. spark steam 更有前途？
【在 d****n 的大作中提到】
: 那你们用啥取代storm？
【在 d****n 的大作中提到】
: 那你们用啥取代storm？
s*y
29 楼
spark不是hadoop的升级版吗？ 我一直把他看成hadoop的超集
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
【在 b**********h 的大作中提到】
: 粗看了一下，两者的功能重叠，现在哪种值得学？
: 目标是做backend
d*n
30 楼
能用spark stream解决的那看来你们还用不到streaming。
【在 w**z 的大作中提到】
: 我们用自己的 stream processing. spark steam 更有前途？
【在 w**z 的大作中提到】
: 我们用自己的 stream processing. spark steam 更有前途？
w*z
31 楼
你说的是哪国话？
【在 d****n 的大作中提到】
: 能用spark stream解决的那看来你们还用不到streaming。
【在 d****n 的大作中提到】
: 能用spark stream解决的那看来你们还用不到streaming。
n*w
32 楼
应该是指有些任务只能用storm。spark stream不是真正的streaming。
我猜的。
【在 w**z 的大作中提到】
: 你说的是哪国话？
我猜的。
【在 w**z 的大作中提到】
: 你说的是哪国话？
d*n
33 楼
我举个例子，spark streaming只有一个全局窗口，而且是jvm起来之前就定好的，在2.
0出现dynamic executor allocation之前对于data skewness束手无策。
【在 n*w 的大作中提到】
: 应该是指有些任务只能用storm。spark stream不是真正的streaming。
: 我猜的。
0出现dynamic executor allocation之前对于data skewness束手无策。
【在 n*w 的大作中提到】
: 应该是指有些任务只能用storm。spark stream不是真正的streaming。
: 我猜的。
n*w
34 楼
我还没开始学spark streaming。
不过对非streaming情况的data skewness，要用reshuffle？
不过有读到reshuffle很expensive，要少用。听起来这两个说法有点矛盾？
2.
【在 d****n 的大作中提到】
: 我举个例子，spark streaming只有一个全局窗口，而且是jvm起来之前就定好的，在2.
: 0出现dynamic executor allocation之前对于data skewness束手无策。
不过对非streaming情况的data skewness，要用reshuffle？
不过有读到reshuffle很expensive，要少用。听起来这两个说法有点矛盾？
2.
【在 d****n 的大作中提到】
: 我举个例子，spark streaming只有一个全局窗口，而且是jvm起来之前就定好的，在2.
: 0出现dynamic executor allocation之前对于data skewness束手无策。
d*n
35 楼
成本根本不是问题，像网络带宽或者磁盘读写速度这些都是可以提前测试和估计的。
reshuffle的本质问题是需要知道skewness的样子和规模，但是streaming过程中你也许
只知道skewness(可能已经)发生了，但是对于skewness的样子和规模只能对照历史按图
索骥，而这“按图索骥”可能就是个上层内容。其实2.0开始DEA解决了一个很大的问题。
当然spark还有个命门就是DAG。当然这个和streaming下的问题无关了。
【在 n*w 的大作中提到】
: 我还没开始学spark streaming。
: 不过对非streaming情况的data skewness，要用reshuffle？
: 不过有读到reshuffle很expensive，要少用。听起来这两个说法有点矛盾？
:
: 2.
reshuffle的本质问题是需要知道skewness的样子和规模，但是streaming过程中你也许
只知道skewness(可能已经)发生了，但是对于skewness的样子和规模只能对照历史按图
索骥，而这“按图索骥”可能就是个上层内容。其实2.0开始DEA解决了一个很大的问题。
当然spark还有个命门就是DAG。当然这个和streaming下的问题无关了。
【在 n*w 的大作中提到】
: 我还没开始学spark streaming。
: 不过对非streaming情况的data skewness，要用reshuffle？
: 不过有读到reshuffle很expensive，要少用。听起来这两个说法有点矛盾？
:
: 2.
x*4
36 楼
讲讲DAG有什么缺点？
题。
【在 d****n 的大作中提到】
: 成本根本不是问题，像网络带宽或者磁盘读写速度这些都是可以提前测试和估计的。
: reshuffle的本质问题是需要知道skewness的样子和规模，但是streaming过程中你也许
: 只知道skewness(可能已经)发生了，但是对于skewness的样子和规模只能对照历史按图
: 索骥，而这“按图索骥”可能就是个上层内容。其实2.0开始DEA解决了一个很大的问题。
: 当然spark还有个命门就是DAG。当然这个和streaming下的问题无关了。
题。
【在 d****n 的大作中提到】
: 成本根本不是问题，像网络带宽或者磁盘读写速度这些都是可以提前测试和估计的。
: reshuffle的本质问题是需要知道skewness的样子和规模，但是streaming过程中你也许
: 只知道skewness(可能已经)发生了，但是对于skewness的样子和规模只能对照历史按图
: 索骥，而这“按图索骥”可能就是个上层内容。其实2.0开始DEA解决了一个很大的问题。
: 当然spark还有个命门就是DAG。当然这个和streaming下的问题无关了。
相关阅读
魏老师你那种下三滥的手段迫不及待要屎出来了是不是？大型系统这些年魏老师你威胁要告我老板，我好怕怕哦魏老师那一套，都是客户系统那一套魏老师适合做点山寨的系统review了一下魏老师的原文，我发现我没有说错啊用如下的framework开发手机游戏可行么吵，吵个屁。铁路售票明显该上rest api古德巴大牛，请看这个设计题异步编程+FP的程序的可读性太差node太牛逼了，这次把Scala也给干了大家讨论一下C++模板吧 (转载)从招人角度准备面试. (转载)魏老师的方案跟主机没啥关系搞过google play app游戏的来说一下这个功能魏老师拿出浑身解数我认为JVM上的语言，老大还是Java应该给魏大师发10个图灵奖。已经在家一个多月没去office了bitcoin的阴谋