Redian新闻
>
各位大牛,问个问题,怎么用 mapreduce 算平均数啊
avatar
各位大牛,问个问题,怎么用 mapreduce 算平均数啊# JobHunting - 待字闺中
D*d
1
直接相加除以 count 会溢出吧?
我觉得用 combiner 算
然后reducer 继续合并?
但这样会不会造成误差积累和误差分布不平均?
avatar
g*c
2
用map task算partition total
用reduce task算total和average
datatype是double
可否?

【在 D*****d 的大作中提到】
: 直接相加除以 count 会溢出吧?
: 我觉得用 combiner 算
: 然后reducer 继续合并?
: 但这样会不会造成误差积累和误差分布不平均?

avatar
w*e
3
不明白你的限制和精度要求。如果就一般双精度浮点都能溢出的话,你算的是啥天文数
字。。
把所有数都归一化到10^200以下,你还能有10^100个数不成
如果要求超高精度,什么几十上百个有效数字,那就另说了
avatar
e*o
4
是正确解法。上Combiner。怕数值不稳定,就random shuffle一遍再
加。
avatar
g*c
5
为啥不能是(count, total)?

【在 e*******o 的大作中提到】
: 是正确解法。上Combiner。怕数值不稳定,就random shuffle一遍再
: 加。

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。