c*8
2 楼
大量的streaming message，每个message有两个fields，第一个是company name，第二
个是这个message产生的时间（如12:01 02/18/2015），现在需要做到查询像前1分钟内
，前15 minutes内，1小时内，1天内，或者一个月内产生的messages数量在Top k 的
company. 由于message数量可能非常大，如何设计一个数据结构使得处理数据还有查询
top k的效率尽可能高，而且使用的store memory也尽量小？不属于distributed
computing的范畴，只考虑一天机器就行。多谢！
个是这个message产生的时间（如12:01 02/18/2015），现在需要做到查询像前1分钟内
，前15 minutes内，1小时内，1天内，或者一个月内产生的messages数量在Top k 的
company. 由于message数量可能非常大，如何设计一个数据结构使得处理数据还有查询
top k的效率尽可能高，而且使用的store memory也尽量小？不属于distributed
computing的范畴，只考虑一天机器就行。多谢！
c*8
3 楼
只需要思路就行，不需要coding，大家有idea么？多谢哈。
w*m
4 楼
建立一个queue，随时间轴移动，补充新值得时候，pop掉超过一个月的。
建立一个hash table作为counter，随时更新queue的数据。
建立一个priority queue，把hash table的key和value扔进去。从里面读topK的key和
value。
建立一个hash table作为counter，随时更新queue的数据。
建立一个priority queue，把hash table的key和value扔进去。从里面读topK的key和
value。
c*8
5 楼
可是要求不能删数据，因为他有可能要知道一年内的，或者所有时间的。
【在 w********m 的大作中提到】
: 建立一个queue，随时间轴移动，补充新值得时候，pop掉超过一个月的。
: 建立一个hash table作为counter，随时更新queue的数据。
: 建立一个priority queue，把hash table的key和value扔进去。从里面读topK的key和
: value。
【在 w********m 的大作中提到】
: 建立一个queue，随时间轴移动，补充新值得时候，pop掉超过一个月的。
: 建立一个hash table作为counter，随时更新queue的数据。
: 建立一个priority queue，把hash table的key和value扔进去。从里面读topK的key和
: value。
T*u
6 楼
数据是time order的吗
c*8
7 楼
数据应该是按时间过来的，因为是streaming的。
【在 T*****u 的大作中提到】
: 数据是time order的吗
【在 T*****u 的大作中提到】
: 数据是time order的吗
w*s
8 楼
mark
m*n
9 楼
这个题，设计方法很多阿。
具体要问清楚要求。
比如，要求的精度是多少，精度越高，内存就会越大。
查询频率如何，这个和精度是相关的，如果每秒查询一次，精度要求在毫秒量级，内存
不可能很小。
还有，1分钟的查询和1天的查询，精度可以不同的话，就分层设计可以省下很多内存。
【在 c****8 的大作中提到】
: 大量的streaming message，每个message有两个fields，第一个是company name，第二
: 个是这个message产生的时间（如12:01 02/18/2015），现在需要做到查询像前1分钟内
: ，前15 minutes内，1小时内，1天内，或者一个月内产生的messages数量在Top k 的
: company. 由于message数量可能非常大，如何设计一个数据结构使得处理数据还有查询
: top k的效率尽可能高，而且使用的store memory也尽量小？不属于distributed
: computing的范畴，只考虑一天机器就行。多谢！
具体要问清楚要求。
比如，要求的精度是多少，精度越高，内存就会越大。
查询频率如何，这个和精度是相关的，如果每秒查询一次，精度要求在毫秒量级，内存
不可能很小。
还有，1分钟的查询和1天的查询，精度可以不同的话，就分层设计可以省下很多内存。
【在 c****8 的大作中提到】
: 大量的streaming message，每个message有两个fields，第一个是company name，第二
: 个是这个message产生的时间（如12:01 02/18/2015），现在需要做到查询像前1分钟内
: ，前15 minutes内，1小时内，1天内，或者一个月内产生的messages数量在Top k 的
: company. 由于message数量可能非常大，如何设计一个数据结构使得处理数据还有查询
: top k的效率尽可能高，而且使用的store memory也尽量小？不属于distributed
: computing的范畴，只考虑一天机器就行。多谢！
c*8
10 楼
我后来也是问了题目，好像精度要求只要分钟就行。
【在 m*****n 的大作中提到】
: 这个题，设计方法很多阿。
: 具体要问清楚要求。
: 比如，要求的精度是多少，精度越高，内存就会越大。
: 查询频率如何，这个和精度是相关的，如果每秒查询一次，精度要求在毫秒量级，内存
: 不可能很小。
: 还有，1分钟的查询和1天的查询，精度可以不同的话，就分层设计可以省下很多内存。
【在 m*****n 的大作中提到】
: 这个题，设计方法很多阿。
: 具体要问清楚要求。
: 比如，要求的精度是多少，精度越高，内存就会越大。
: 查询频率如何，这个和精度是相关的，如果每秒查询一次，精度要求在毫秒量级，内存
: 不可能很小。
: 还有，1分钟的查询和1天的查询，精度可以不同的话，就分层设计可以省下很多内存。
c*8
11 楼
如果精度到分钟，怎么设计更好？
相关阅读
ZU的奥佛fb的application engineer请教哪些药厂招编程的工作？魏天冰真稳拿FLAGUA有站出来挺同的吗？被Lay off 但是刚得知H1B审批通过了，求帮忙出出主意。。网站前端都是用javascript和html写的吗 ？哪家的DS最有技术含量？请问Java developer vs. Database developerUBER加面？內推 WalmartLabs Search組 急需3名Front End Developersalbertsons要IPO了，现在去还来得及吗？G家换国家有先例么求马公们给我建议，哪个script语言可以短期内突击学习chinese just love to censor...请教设计题google doc同步online editor印度人混得比中国人好，必须要承认。 (转载)狗狗的spam&abuse组怎么样？六年3500万，做虐啊.想要Quit PhD 带来的巨大问题，在线等