是不是有cluster就不需要用hadoop了# DataSciences - 数据科学
M*P
1 楼
貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
a*k
2 楼
你还是先搞清楚什么是hadoop以及原理吧
a*k
3 楼
hadoop是同时解决data parallel和process parallel的solution. High performance
computing能解决data parallel?
computing能解决data parallel?
j*g
4 楼
公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
j*g
5 楼
Hadoop本来就不是必需的 当年是为了爬网站设计出来的 很多都是炒作 理智的话需要
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
M*P
6 楼
HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
M*P
7 楼
啥意思？
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
a*k
8 楼
这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
M*P
9 楼
好吧，明白了。我们这里HPC也就1PTB的共享数据，100PTB估计很难。但是10K个node，
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
l*n
10 楼
正真完全意义上的共享要shared memory，也就是cray才行，大部分是军方或者专门实
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
相关阅读
【Data Science Interview 刷题转行新书】请教个build data analytics engine的问题SSIS教学免费视频分享 (转载)如何证明某个feature 没用， 分组的分布和 总体分布相同kaggle上这个restaurant-revenue-prediction的题目有人考虑过么?PCA拟合问题求问~Transunion 的TLOxp大数据到底是不是忽悠？ (转载)Hadley Advanced R pdfAn example of cross validation not workingEdx online course: Apache Spark波士顿保险公司工作机会 (转载)instacart 和 airbnb的 data scientist challenge， 谁做过？有人用过IBM的Predictive analytics产品么？有人在Windows7 上装hadoop吗？ 有问题求救有一个文件夹里有大概1000个文件。我有以下的Python语句调用后出现下面的错误。应该是涉及到特殊字符的问题，我试了其他的方法，都不能解决问题。问个matlab的并行计算的问题有没有大牛来classifiy一下 PCA用法吗？p value被摈弃了？如何算confidence interval之类的东西？如何理解 curse of dimensionality