hadoop 2.0要出来了，我看了下架构，感觉很复杂啊 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Java - 爪哇娇娃

hadoop 2.0要出来了，我看了下架构，感觉很复杂啊

hadoop 2.0要出来了，我看了下架构，感觉很复杂啊# Java - 爪哇娇娃

z*n2013-07-12 07:07

1 楼

【以下文字转载自 Zhejiang 讨论区】
发信人: zoun (槑槑槑槑槑), 信区: Zhejiang
标题: 科大校长：缘起性空，物理学步入禅境
发信站: BBS 未名空间站 (Tue Aug 25 13:02:30 2009, 美东)
作者：朱清时（1946年2月－），中国四川省成都市人，化学家，中国科学院院士，第
三世界科学院院士，中国科学技术大学前校长（1998年－2008 年）。近年来，朱清时
的思想中非主流科学的成分日渐增加。其著作《东方科学文化的复兴》[1]认为“以‘
整体论’为指导的东方科学思想将成为第二次科学革命的灵魂”。他主张“复杂性科学
观”，认为是中医学“科学性之谜的钥匙”。2003年8月，他在与友人刘正成谈话时提
及西藏的达隆活佛可以“（几个月中）……就连这些东西都不吃了。吃石头磨成的粉，
闻周围野花的气味，就能够吸收营养。”他认为这种辟谷是“佛教的这种修炼其实是两
千多年来人类做的一种实验：心理的活动产生了生理上的巨大变化。这种变化在过去的
自然科学，包括医学和心理学都无从解释。”
二十世纪是人类历史上一个有趣的时期，这个时期的人类一面尽情地享

z*e2013-07-12 07:07

2 楼

远比当年的ejb要麻烦
麻烦得多
client->resource manager->application master->node manager->container
这样一路下来，每一个都要配置，发送一个命令要填写端口什么的，无比麻烦
安装还要涉及jar,file的路径的问题
话说搞jboss也就那么一两下搞定，这个貌似比最麻烦的ejb还麻烦

l*i2013-07-12 07:07

3 楼

我靠我居然读完了

【在 z**n 的大作中提到】

: 【以下文字转载自 Zhejiang 讨论区】
: 发信人: zoun (槑槑槑槑槑), 信区: Zhejiang
: 标题: 科大校长：缘起性空，物理学步入禅境
: 发信站: BBS 未名空间站 (Tue Aug 25 13:02:30 2009, 美东)
: 作者：朱清时（1946年2月－），中国四川省成都市人，化学家，中国科学院院士，第
: 三世界科学院院士，中国科学技术大学前校长（1998年－2008 年）。近年来，朱清时
: 的思想中非主流科学的成分日渐增加。其著作《东方科学文化的复兴》[1]认为“以‘
: 整体论’为指导的东方科学思想将成为第二次科学革命的灵魂”。他主张“复杂性科学
: 观”，认为是中医学“科学性之谜的钥匙”。2003年8月，他在与友人刘正成谈话时提
: 及西藏的达隆活佛可以“（几个月中）……就连这些东西都不吃了。吃石头磨成的粉，

z*e2013-07-12 07:07

4 楼

node manager的管理方式让我想起ejb
期间有container还有application context

z*n2013-07-12 07:07

5 楼

我考,没发包子?
佛教里的世界观和高等物理很接近啊,不是开玩笑.

【在 l**i 的大作中提到】

: 我靠我居然读完了

b*y2013-07-12 07:07

6 楼

听到ejb, 我有点蛋疼 -:)
还没学Hadoop 1.0。
2.0是不是和1.0差别很大？

l*a2013-07-12 07:07

7 楼

你竟然这么高深！哈哈

【在 z**n 的大作中提到】

: 我考,没发包子?
: 佛教里的世界观和高等物理很接近啊,不是开玩笑.

t*e2013-07-12 07:07

8 楼

名字都改了，叫YARN，算是个complete overhaul。不过旧的map,reduce classes还是
支持的。

【在 z****e 的大作中提到】

: 远比当年的ejb要麻烦
: 麻烦得多
: client->resource manager->application master->node manager->container
: 这样一路下来，每一个都要配置，发送一个命令要填写端口什么的，无比麻烦
: 安装还要涉及jar,file的路径的问题
: 话说搞jboss也就那么一两下搞定，这个貌似比最麻烦的ejb还麻烦

l*i2013-07-12 07:07

9 楼

你可以转到学术版领取包子一枚...不过就怕他们没有耐心读完

【在 z**n 的大作中提到】

: 我考,没发包子?
: 佛教里的世界观和高等物理很接近啊,不是开玩笑.

r*k2013-07-12 07:07

10 楼

yarn 的几个比较大的目的包括：
1) support 4k+ nodes
2) support 除mapred 外其他的computation frameworks, like mpi, Giraph, spark,
etc.
对于1来说，目前只对yahoo 一家有意义，他们公司的策略是建一个几万node 的
cluster shared by 所有项目。95%的公司根本没这个规模，其他5% 有相同规模的公司
都采用多个cluster, each for a project 的模式，最大1k node 顶头了。
真正需要2的，不好说有多少，听人propose的多，真正用的人不知道。
因为以上这些原因，他们需要把resource, node, application and job management
分开，提供不同的services。听起来复杂，实际totally make sense.
yarn 这个项目从一开始就是被yahoo 推动，而后有hortonworks 接手。yarn 的方向不
错，但目前，和短期内，只对yahoo 有意义，对多数人来说，可以不用管。我本人觉得
，yarn 有点over design，resource management 也许用一些更通用，轻一点东西更好。
btw 不用对hadoop的版本号太当真，2不一定比1好。多数人用1，然后会等到3去试试
yarn。
> 无比麻烦
> 安装还要涉及jar,file的路径的问题
你肯定要通过management 工具－cloudera manager or ambari－来做这件事情。手动
配置任何hadoop cluster 现在都不太现实。

【在 z****e 的大作中提到】

z*n2013-07-12 07:07

11 楼

很肤浅,附庸风雅而以,不过一向对佛学是很敬畏的.

【在 l**a 的大作中提到】

: 你竟然这么高深！哈哈

p*22013-07-12 07:07

12 楼

spark,
所以现在学习1就可以了？

【在 r*******k 的大作中提到】

: yarn 的几个比较大的目的包括：
: 1) support 4k+ nodes
: 2) support 除mapred 外其他的computation frameworks, like mpi, Giraph, spark,
: etc.
: 对于1来说，目前只对yahoo 一家有意义，他们公司的策略是建一个几万node 的
: cluster shared by 所有项目。95%的公司根本没这个规模，其他5% 有相同规模的公司
: 都采用多个cluster, each for a project 的模式，最大1k node 顶头了。
: 真正需要2的，不好说有多少，听人propose的多，真正用的人不知道。
: 因为以上这些原因，他们需要把resource, node, application and job management
: 分开，提供不同的services。听起来复杂，实际totally make sense.

wh2013-07-12 07:07

13 楼

学术版是哪个版？

【在 l**i 的大作中提到】

: 你可以转到学术版领取包子一枚...不过就怕他们没有耐心读完

r*k2013-07-12 07:07

14 楼

看你要学习什么了。如果是只是mapred 编程，理论上（只是理论上）1、2 上的mapred
代码兼容。你不需要了解yarn那些乱七八糟的service。
如果你要了解分布计算比如hadoop, mpi 之类的系统设计，当然要知道一些yarn的构架
，交互之类。
运营方面，据我所知，即便是这个领域的人，多数也就是聊聊，实用的不会很多。
如果只是初学者，不用关注过多。绝对不会有公司（除了hortonworks?）要求
candidate 有yarn 经验。

【在 p*****2 的大作中提到】

:
: spark,
: 所以现在学习1就可以了？

wh2013-07-12 07:07

15 楼

我中学的时候买过一本佛教科学观。不过我觉得很多都是玩玄。

【在 z**n 的大作中提到】

: 很肤浅,附庸风雅而以,不过一向对佛学是很敬畏的.

p*22013-07-12 07:07

16 楼

mapred
这个感觉最好还是做相关工作比较知道需要学习什么。不然平时学了不用，意义也不是
很大。而且很快就忘了。

【在 r*******k 的大作中提到】

: 看你要学习什么了。如果是只是mapred 编程，理论上（只是理论上）1、2 上的mapred
: 代码兼容。你不需要了解yarn那些乱七八糟的service。
: 如果你要了解分布计算比如hadoop, mpi 之类的系统设计，当然要知道一些yarn的构架
: ，交互之类。
: 运营方面，据我所知，即便是这个领域的人，多数也就是聊聊，实用的不会很多。
: 如果只是初学者，不用关注过多。绝对不会有公司（除了hortonworks?）要求
: candidate 有yarn 经验。

z*n2013-07-12 07:07

17 楼

打着各种旗号忽悠人的东西太多了。

【在 wh 的大作中提到】

: 我中学的时候买过一本佛教科学观。不过我觉得很多都是玩玄。

z*e2013-07-12 07:07

18 楼

不错，再多说点

spark,

【在 r*******k 的大作中提到】

l*i2013-07-12 07:07

19 楼

joke

【在 wh 的大作中提到】

: 学术版是哪个版？