问道算法题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>JobHunting - 待字闺中

问道算法题

问道算法题# JobHunting - 待字闺中

m*a2014-10-31 07:10

1 楼

如果给你big file, size much greater than memory,
in the file, each line contains
userId, pageIdVistedByUser
How do you generate the list of pageIds for each user?
must do it on one machine. not map reduce.

l*a2014-10-31 07:10

2 楼

这个也能叫算法题？

【在 m********a 的大作中提到】

: 如果给你big file, size much greater than memory,
: in the file, each line contains
: userId, pageIdVistedByUser
: How do you generate the list of pageIds for each user?
: must do it on one machine. not map reduce.

m*a2014-10-31 07:10

3 楼

是啊，面试官是这么说的。。。

【在 l*****a 的大作中提到】

: 这个也能叫算法题？

m*a2014-10-31 07:10

4 楼

如果给你big file, size much greater than memory,
in the file, each line contains
userId, pageIdVistedByUser
it's not sorted, userId can occur multiple times in the file. How do you
generate the list of visitedPageIds for each user?
must do it on one machine. not map reduce.

l*a2014-10-31 07:10

5 楼

这个也能叫算法题？

【在 m********a 的大作中提到】

: 如果给你big file, size much greater than memory,
: in the file, each line contains
: userId, pageIdVistedByUser
: it's not sorted, userId can occur multiple times in the file. How do you
: generate the list of visitedPageIds for each user?
: must do it on one machine. not map reduce.

m*a2014-10-31 07:10

6 楼

是啊，面试官是这么说的。。。

【在 l*****a 的大作中提到】

: 这个也能叫算法题？

m*72014-10-31 07:10

7 楼

用(userID%n)来把所有的record分别存到n个文件里，这样同样的userID肯定在同一个
文件里，再分别处理每个文件就好了

s*w2014-10-31 07:10

8 楼

这个没涉及算法啊
直接读文件，每个　userId 直接开个同名文件append pageID 进去
while read line
do
userID=$(echo "$line" | cut -d, -f1)
pageIDVistedByUser=$(echo "$line" | cut -d, -f2)
echo $pageIDVistedByUser >> userID
done < BigFile

【在 m********a 的大作中提到】