如何解决big data follow up# JobHunting - 待字闺中
l*r
1 楼
面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
概如何处理。。。
sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
概如何处理。。。
sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
S*y
2 楼
真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
m*e
3 楼
具体场景具体分析，LZ给一个场景呗
r*s
4 楼
hot keyword或者url是这样的。。。
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，
他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，
他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
z*h
5 楼
Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
If they say yes, I'd say you cannot use the original K-NN, you will have to
cut corners. for example, instead of using all data points, only pick the
most important ones (close to decision boundary). see https://link.springer.
com/article/10.1023%2FA%3A1007626913721?LI=true
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
If they say yes, I'd say you cannot use the original K-NN, you will have to
cut corners. for example, instead of using all data points, only pick the
most important ones (close to decision boundary). see https://link.springer.
com/article/10.1023%2FA%3A1007626913721?LI=true
【在 l*********r 的大作中提到】
: 面试碰到过好几回，问一个基本算法，答出来之后就被followup问如果data size超大
: 概如何处理。。。
: sorting相关的基本上就往MR上靠，不知道还有没有其他思路？
: 刚刚被问了一个KNN如何处理大数据，这个该怎么答呢？ 谢谢！
D*0
6 楼
那这个真是太厉害了。
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
l*r
7 楼
关键是我上来就答了用KD tree做KNN，然后被追问数据量大该怎么办 。。。
to
springer.
【在 z*******h 的大作中提到】
: Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
: dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
: If they say yes, I'd say you cannot use the original K-NN, you will have to
: cut corners. for example, instead of using all data points, only pick the
: most important ones (close to decision boundary). see https://link.springer.
: com/article/10.1023%2FA%3A1007626913721?LI=true
to
springer.
【在 z*******h 的大作中提到】
: Data points一多，KNN会巨慢。要是我就这么说，first ask if the data has high
: dimensionality. If they say no, well, we can use KD-tree to speed up K-NN.
: If they say yes, I'd say you cannot use the original K-NN, you will have to
: cut corners. for example, instead of using all data points, only pick the
: most important ones (close to decision boundary). see https://link.springer.
: com/article/10.1023%2FA%3A1007626913721?LI=true
l*r
8 楼
难道讨论的是GD?
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
【在 S*******y 的大作中提到】
: 真实经历，一次和三哥面试官聊了好久他都不满意，最后结束了问他你怎么办，他说你
: 可以random sample只用一小部分数据，心里顿时一万头草泥马奔过
相关阅读
给了个offer，然后又要考察我，怎么回事？一般公司都要签这个么请教OPT的问题，很急！CS其他领域有类似CLRS的经典吗？onsite表扬一下国人pre-opt的问题ee昨天onsite 可能被拒，继续读书(转CS）好还是找工作google面试求祝福（大致流程）Santa Ana, CA 4 万一年，我支付H1B cost，如何？请教: 微软面试和offer (转载)找工作心里很着急--情大家推荐在休斯顿的光学方面的公司大家跳槽都什么时候辞职的？这个offer 要不要 重庆一个3流高校H1B transfer PP time lineAmazon的zoo的设计问题min 和 max 这2个函数要自己写吗？这是OPT approved 么？H1b和H4是同是批准吗？H1B layoff急求建议交通灯OO design哪道题在哪里可以找到？？