是不是有cluster就不需要用hadoop了# DataSciences - 数据科学
M*P
1 楼
貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
a*k
2 楼
你还是先搞清楚什么是hadoop以及原理吧
a*k
3 楼
hadoop是同时解决data parallel和process parallel的solution. High performance
computing能解决data parallel?
computing能解决data parallel?
j*g
4 楼
公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
j*g
5 楼
Hadoop本来就不是必需的 当年是为了爬网站设计出来的 很多都是炒作 理智的话需要
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
啥就用啥
【在 M*P 的大作中提到】
: 貌似hadoop是基于硬件都是垃圾的假设？？如果有高效，高稳定的cluster，比如各大
: 学校里的cluster， 那根本不需要hadoop吧？只需要MPI或者类似的方法？
M*P
6 楼
HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
performance
【在 a****k 的大作中提到】
: hadoop是同时解决data parallel和process parallel的solution. High performance
: computing能解决data parallel?
M*P
7 楼
啥意思？
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
难道公司都是买100个300刀的Dell， $30,000，每个机器估计现在能有个4core + 4G
memory + 500Gb hard drive.
总共400core，400G memory + 50Tb storage. 加上垃圾网络设备连一起？
【在 j*******g 的大作中提到】
: 公司里来说 scale horizontal比scale vertical要省钱很多 不见得高精尖一定是好
a*k
8 楼
这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
己的存储空间上跑。这就是data parallel. HPC不能做到。
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
M*P
9 楼
好吧，明白了。我们这里HPC也就1PTB的共享数据，100PTB估计很难。但是10K个node，
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
也要不少钱。
【在 a****k 的大作中提到】
: 这就是问题了， 给你100pb的数据，所有node都共享，你得有个多大的单个存储空间。
: 如果用hadoop，10K个node,每台放10T的数据就可以了，然后任何运算单个node只在自
: 己的存储空间上跑。这就是data parallel. HPC不能做到。
l*n
10 楼
正真完全意义上的共享要shared memory，也就是cray才行，大部分是军方或者专门实
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
验室才有，学校的还是distributed的，只是node内存多点硬盘大点
【在 M*P 的大作中提到】
: HPC所有数据对于所有node都是共享的。不存在data parallel的问题。
:
: performance
相关阅读
哪里能看到搞 data science 的交流或者经验的地方板上有没有申请GaTech Online Master of Science in Analytics的？生物千老想转行，打听online courseWells Fargo Is Hiring Text Analytics Data ScientistInsight Data Science Fellow Program 有人参加吗？未来想做商务分析，应该申请什么学校／专业？高薪Hire an Analytics大牛作Tutor请教proc transpose 问题 (转载)pycharm 和anaconda jupyter 用的不是一个python.exe file 吗?求推荐统计或data scientist工作 （波士顿地区）像我这样的情况是应该坚持自学还是再读一个学位？正在寻找software engineer共创业求助：关于journal citation reports的分析Intel Dalian Sr. Data Scientist Position (转载)SAS certified Data scientist有一个统计MS，有没有必要再去读个on line analytics 或者 cs?征求大家意见，关于职业培训速成班Python for Data Analysis, 2nd Edition 求分享New online CSDS degree in Coursera求加入GT OMSA (2018 Fall) 微信群 多谢