logo
Redian新闻
>未名空间
>JobHunting - 待字闺中
>
最popular url的算法问题
avatar
最popular url的算法问题# JobHunting - 待字闺中
e*9
1 楼
一个很大的日志文件
每行有两个field，第一个field是url, 第二个field是userid
最popular url的定义是最多unique user去点的链接。
比如两个链接，第一个只有一个用户点，点了一千次。
第二个链接十个用户点，每人点了一次。
这样第二个链接更popular.
想了想怎么都是一个n * m的复杂度。
有什么更高效的处理算法吗？
avatar
c*y
3 楼
我猜n是unique URL num，m是unique USER num？要是有m*n条log那跑不了是O(m*n)了
，但一般不会吧。map啥的不就做了。内存不够就distributed map
avatar
e*9
4 楼
n是unique URL num，m是unique USER num。
map怎么搞？不work.
感觉就是需要一个m * n的遍历。
avatar
c*y
5 楼
你这问题到底是动态还是静态提取最热点？静态感觉没意义啊。动态就得想怎么存log
的信息，怎么拿热点最快。估计就是个heap吧。map用来找url在heap里的位置。什么不
够了就分散到多个机器上。

【在 e****9 的大作中提到】
: n是unique URL num，m是unique USER num。
: map怎么搞？不work.
: 感觉就是需要一个m * n的遍历。
avatar
e*9
6 楼
静态的。
静态的也有意义啊 。大概可以分析出那些url比较受欢迎。
就是这个静态分析当数据量大的时候计算都很困难。

log

【在 c*******y 的大作中提到】
: 你这问题到底是动态还是静态提取最热点？静态感觉没意义啊。动态就得想怎么存log
: 的信息，怎么拿热点最快。估计就是个heap吧。map用来找url在heap里的位置。什么不
: 够了就分散到多个机器上。
相关阅读
什么是MTS2 Software Engineer?大家提供reference时给推荐人的私人还是公司邮件地址？以后是不是leetcode不刷3遍，都不好意思跟别人打招呼？Intel Dalian Sr Data Scientist Position明年有给办H1b的公司吗问一道刚面试完的algorithm 的题， 面试官非要最优解，我想不出来啊版上的仇恨多冲着startup，不是uberLyft这周三可以在LAX开始运营了uber还不能HERE内推亚麻AWS的Senior Dev的包裹被Low Ball怎么办？诚心求教offer选择 传统行业hire manager 问我现在的薪水，要如何告知，什么时候告知如果公司不给match 401，还应该往里放钱吗？定期跟对方的hiring manager发个email，算不算好事offer选择比较 (转载)关于Uber，我说点不中听的大家轻拍chinese have no motivation我才知道在美国上班的一个习俗是每天上午下午各有15分钟的休息(转载)大公司给办H1b，小公司给办EB1b，请问怎么选择？吐槽FlexTrade赖账
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。