要玩big data平台的不需要VM - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

要玩big data平台的不需要VM

要玩big data平台的不需要VM# Programming - 葵花宝典

w*g2015-05-07 07:05

1 楼

玩hadoop, spark啥的，把台式机/笔记本装成linux，然后直接上single node系统就行。
当然只能处理一些toy dataset。Hadoop的话几个G几十个G的，Spark的话几百M的，单
节点跑没啥问题。基本上就可以看看猪跑了。要吃猪肉的话没有别的办法，只能加入
个需要搞大数据的公司。你就是出钱租了100台机器，一时半会也搞不到那么大的
dataset。
千万别虚拟出几个node跑cluster。Hadoop/Spark是真对物理机器优化的，不是针对虚拟
机优化的。那些啥乱七八糟的软件，单节点都是可以跑的。

l*n2015-05-07 07:05

2 楼

学习了

行。
虚拟

【在 w***g 的大作中提到】

: 玩hadoop, spark啥的，把台式机/笔记本装成linux，然后直接上single node系统就行。
: 当然只能处理一些toy dataset。Hadoop的话几个G几十个G的，Spark的话几百M的，单
: 节点跑没啥问题。基本上就可以看看猪跑了。要吃猪肉的话没有别的办法，只能加入
: 个需要搞大数据的公司。你就是出钱租了100台机器，一时半会也搞不到那么大的
: dataset。
: 千万别虚拟出几个node跑cluster。Hadoop/Spark是真对物理机器优化的，不是针对虚拟
: 机优化的。那些啥乱七八糟的软件，单节点都是可以跑的。