如何解决big data follow up# JobHunting - 待字闺中
l*r
1 楼
面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
概如何处理。。。
sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
概如何处理。。。
sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
S*y
2 楼
真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
m*e
3 楼
具体场景具体分析，LZ给一个场景呗
r*s
4 楼
hot keyword或者url是这样的。。。
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，
他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，
他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
z*h
5 楼
Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
If they say yes, I'd say you cannot use the original K-NN, you will have to
cut corners. for example, instead of using all data points, only pick the
most important ones (close to decision boundary). see https://link.springer.
com/article/10.1023%2FA%3A1007626913721?LI=true
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
If they say yes, I'd say you cannot use the original K-NN, you will have to
cut corners. for example, instead of using all data points, only pick the
most important ones (close to decision boundary). see https://link.springer.
com/article/10.1023%2FA%3A1007626913721?LI=true
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
D*0
6 楼
那这个真是太厉害了。
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
l*r
7 楼
关键是我上来就答了用KD tree做KNN，然后被追问数据量大该怎么办 。。。
to
springer.
【在 z*******h 的大作中提到】
: Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
: dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
: If they say yes, I'd say you cannot use the original K-NN, you will have to
: cut corners. for example, instead of using all data points, only pick the
: most important ones (close to decision boundary). see https://link.springer.
: com/article/10.1023%2FA%3A1007626913721?LI=true
to
springer.
【在 z*******h 的大作中提到】
: Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
: dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
: If they say yes, I'd say you cannot use the original K-NN, you will have to
: cut corners. for example, instead of using all data points, only pick the
: most important ones (close to decision boundary). see https://link.springer.
: com/article/10.1023%2FA%3A1007626913721?LI=true
l*r
8 楼
难道讨论的是GD?
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
相关阅读
南加通信公司实习机会 (转载)除了求职，你们是否还想了解大家海归的意向？发包子做游戏吧[朋友面的G]Find k largest element in sliding window有了解 ElasticSearch, MangoDB, Cloudera, Sumo Logic, Couchbase, Github 这些公司的吗Boston有啥好的IT公司呢？为啥linkedin 这么多轮面试SAS Programmer Opportunity问一下OPT申请的状态h1b transfer申请提交之后可以撤销吗WhatsApp new grad Onsite会不会面system design不懂为什么南加地方那么宽敞，it公司不去，非挤着北加 都快没地方住了问一个算法题，不是leetcodeopt 状态一问Re: 提供T家内推H1b申请材料寄出时间最近各种面试感受【full time data scientist内推】Apple @ Cupertino要扔掉哥大简历的人看过劈柴的简历吗？高帅富为啥OnDeck今天暴涨？计算机专业湾区的Summer Intern