是不是有cluster就不需要用hadoop了# DataSciences - 数据科学
M*P
1 楼
貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
a*k
2 楼
你还是先搞清楚什么是hadoop以及原理吧
a*k
3 楼
hadoop是同时解决data parallel和process parallel的solution. High performance
computing能解决data parallel?
computing能解决data parallel?
j*g
4 楼
公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
j*g
5 楼
Hadoop本来就不是必需的 当年是为了爬网站设计出来的 很多都是炒作 理智的话需要
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
M*P
6 楼
HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
M*P
7 楼
啥意思？
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
a*k
8 楼
这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
M*P
9 楼
好吧，明白了。我们这里HPC也就1PTB的共享数据，100PTB估计很难。但是10K个node，
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
l*n
10 楼
正真完全意义上的共享要shared memory，也就是cray才行，大部分是军方或者专门实
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
相关阅读
Career Talk: IT的证书有用吗？下周二中部时间8点 (转载)请教职业发展[请帮忙分析]出去干的利弊如何证明某个feature 没用， 分组的分布和 总体分布相同问一个 feature 相关性问题与其刷题，不如看美剧 (转载)Career talk --你问我答-Next Tuesday 8PM CDT（May 26） (转载)怎么计算距离比较好？请教个build data analytics engine的问题请问Predictive Modeler比较高端还是Sr Analyst比较好？谢谢instacart 和 airbnb的 data scientist challenge， 谁做过？［请教］一个R问题请问中文情感分析model selection problemanalyzing the analyzersWell-funded Startup Software Engineer PositionDS工作机会，欢迎找工作的同学们联系我问个matlab的并行计算的问题SSIS教学免费视频分享 (转载)Rise of (Azure) Machine Learning