各位大牛,问个问题,怎么用 mapreduce 算平均数啊# JobHunting - 待字闺中D*d2016-06-12 07:061 楼直接相加除以 count 会溢出吧?我觉得用 combiner 算 然后reducer 继续合并?但这样会不会造成误差积累和误差分布不平均?
g*c2016-06-12 07:062 楼用map task算partition total用reduce task算total和averagedatatype是double可否?【在 D*****d 的大作中提到】: 直接相加除以 count 会溢出吧?: 我觉得用 combiner 算 : 然后reducer 继续合并?: 但这样会不会造成误差积累和误差分布不平均?
w*e2016-06-12 07:063 楼不明白你的限制和精度要求。如果就一般双精度浮点都能溢出的话,你算的是啥天文数字。。把所有数都归一化到10^200以下,你还能有10^100个数不成如果要求超高精度,什么几十上百个有效数字,那就另说了
g*c2016-06-12 07:065 楼为啥不能是(count, total)?【在 e*******o 的大作中提到】: 是正确解法。上Combiner。怕数值不稳定,就random shuffle一遍再: 加。