电面被问到hadoop了# JobHunting - 待字闺中
b*y
1 楼
一门户网站的电面
用hadoop做wordcount,输入是一个很大的文件,#distinct term小于100,最后的结果
不写到HDFS,要print到console。
mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
console,他说这个可能只print在reducer的console,而这个reducer在哪个node无法确
定。
他提示到在mapper用counter,不过没有什么头绪。希望各位指点一下。
用hadoop做wordcount,输入是一个很大的文件,#distinct term小于100,最后的结果
不写到HDFS,要print到console。
mapper就跟wordcount例子一样啦。我说用1个reducer,用LOG.info 将count print到
console,他说这个可能只print在reducer的console,而这个reducer在哪个node无法确
定。
他提示到在mapper用counter,不过没有什么头绪。希望各位指点一下。