现在哪里找35L的新头？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>PhotoGear - 摄影器材

现在哪里找35L的新头？

现在哪里找35L的新头？# PhotoGear - 摄影器材

c*u2010-10-13 07:10

1 楼

假设这个query log分布在很多台机器上
在每个机器上上做词频统计，然后归拢排序起来求出top3, 同时在每个机器上有个线程
每几秒种去踢掉一些expire的词频，同时加入新搜索的词频？大致这么个过程？
请教各位大牛有什么高招，谢谢

s*s2010-10-13 07:10

2 楼

国内的同学要带。。。。

c*a2010-10-13 07:10

3 楼

在每个机器上上做词频统计，然后归拢排序起来求出top3－－－这个同意，但基本可以
确定不能在一台机上归拢，得partition。
每几秒踢这个不同意。超过一小时的都得踢，最少每秒就得踢一次。
但如果这样一直踢又不scalable了，明儿要找2小时、24小时内的top3，你得等1、23个
小时build数据才能做。
我也没有好解法，问了问室友，说拿b tree，一边aggreate很多info在每个节点。想不
通。。。