电面被问到hadoop了 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>JobHunting - 待字闺中

电面被问到hadoop了

电面被问到hadoop了# JobHunting - 待字闺中

b*y2011-10-31 07:10

1 楼

一门户网站的电面
用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
不写到HDFS，要print到console。
mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
定。
他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。

q*x2011-10-31 07:10

2 楼

do you put hadoop as resume keyword?

【在 b******y 的大作中提到】

: 一门户网站的电面
: 用hadoop做wordcount，输入是一个很大的文件，#distinct term小于100，最后的结果
: 不写到HDFS，要print到console。
: mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
: console,他说这个可能只print在reducer的console，而这个reducer在哪个node无法确
: 定。
: 他提示到在mapper用counter，不过没有什么头绪。希望各位指点一下。

b*y2011-10-31 07:10

3 楼

是的。
现在搞明白了，在mapper把每一个不同的term当作一个counter来用就好了。
可以参考这个教程
http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-seri

b*y2011-10-31 07:10

4 楼

q*x2011-10-31 07:10

5 楼

do you put hadoop as resume keyword?

【在 b******y 的大作中提到】

b*y2011-10-31 07:10

6 楼

是的。
现在搞明白了，在mapper把每一个不同的term当作一个counter来用就好了。
可以参考这个教程
http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-seri