c*8
2 楼
大量的streaming message,每个message有两个fields,第一个是company name,第二
个是这个message产生的时间(如12:01 02/18/2015),现在需要做到查询像前1分钟内
,前15 minutes内,1小时内,1天内,或者一个月内产生的messages数量在Top k 的
company. 由于message数量可能非常大,如何设计一个数据结构使得处理数据还有查询
top k的效率尽可能高,而且使用的store memory也尽量小?不属于distributed
computing的范畴,只考虑一天机器就行。多谢!
个是这个message产生的时间(如12:01 02/18/2015),现在需要做到查询像前1分钟内
,前15 minutes内,1小时内,1天内,或者一个月内产生的messages数量在Top k 的
company. 由于message数量可能非常大,如何设计一个数据结构使得处理数据还有查询
top k的效率尽可能高,而且使用的store memory也尽量小?不属于distributed
computing的范畴,只考虑一天机器就行。多谢!
c*8
3 楼
只需要思路就行,不需要coding,大家有idea么?多谢哈。
w*m
4 楼
建立一个queue,随时间轴移动,补充新值得时候,pop掉超过一个月的。
建立一个hash table作为counter,随时更新queue的数据。
建立一个priority queue,把hash table的key和value扔进去。从里面读topK的key和
value。
建立一个hash table作为counter,随时更新queue的数据。
建立一个priority queue,把hash table的key和value扔进去。从里面读topK的key和
value。
T*u
6 楼
数据是time order的吗
w*s
8 楼
mark
m*n
9 楼
这个题,设计方法很多阿。
具体要问清楚要求。
比如,要求的精度是多少,精度越高,内存就会越大。
查询频率如何,这个和精度是相关的,如果每秒查询一次,精度要求在毫秒量级,内存
不可能很小。
还有,1分钟的查询和1天的查询,精度可以不同的话,就分层设计可以省下很多内存。
【在 c****8 的大作中提到】
: 大量的streaming message,每个message有两个fields,第一个是company name,第二
: 个是这个message产生的时间(如12:01 02/18/2015),现在需要做到查询像前1分钟内
: ,前15 minutes内,1小时内,1天内,或者一个月内产生的messages数量在Top k 的
: company. 由于message数量可能非常大,如何设计一个数据结构使得处理数据还有查询
: top k的效率尽可能高,而且使用的store memory也尽量小?不属于distributed
: computing的范畴,只考虑一天机器就行。多谢!
具体要问清楚要求。
比如,要求的精度是多少,精度越高,内存就会越大。
查询频率如何,这个和精度是相关的,如果每秒查询一次,精度要求在毫秒量级,内存
不可能很小。
还有,1分钟的查询和1天的查询,精度可以不同的话,就分层设计可以省下很多内存。
【在 c****8 的大作中提到】
: 大量的streaming message,每个message有两个fields,第一个是company name,第二
: 个是这个message产生的时间(如12:01 02/18/2015),现在需要做到查询像前1分钟内
: ,前15 minutes内,1小时内,1天内,或者一个月内产生的messages数量在Top k 的
: company. 由于message数量可能非常大,如何设计一个数据结构使得处理数据还有查询
: top k的效率尽可能高,而且使用的store memory也尽量小?不属于distributed
: computing的范畴,只考虑一天机器就行。多谢!
c*8
11 楼
如果精度到分钟,怎么设计更好?
相关阅读
问个complexity问题BB悲剧了,献上面经你感兴趣的方向 应该怎么答?A家intern 面经,求祝福急问! H1B 的 LCA 这一步, 需要个人简历吗?government job question请教OPT看来今年H1B名额第一周可能就用完了第二次groupon面筋。。。公司不给E-Verify number说说python研究方向比较小众,应该如何谈项目经历?求问hackerrank的lego blocks题我是不是被阿三黑了?Re: "我的同学朋友学CS的全在25万以上"A家 Intern 问题F家intern面几轮的?求Intern Refer, CS方向的(或者EE的)某家onsite面经请问那个在面试中网上共享 写code的网站是什么来着?