请教一道L家系统难题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>JobHunting - 待字闺中

请教一道L家系统难题

请教一道L家系统难题# JobHunting - 待字闺中

a*b2017-04-02 07:04

1 楼

题目：
要把100g的数据（很多小文件）复制到10000台机器上，怎样做最好？如何保证数据传
输的一致性？
最近L家面试的时候有被问到，感觉完全回答不到点子上，不知道面试官想考察哪个方
面。既然只有10000个机器，是不是一个机器写个loop scp就可以了？然后scp完了直接
cksum对比？大牛们帮忙分析分析
类似的一道经典题
设计题，传输10G的data到5个data center，每个data center 有1000的节点

d*n2017-04-02 07:04

2 楼

其实就是考你到底要存几份，然后怎么存在几台机器上的。例如你说前100个文件都存
前10台电脑，这当然可以，但是不见得最安全。如果是这个参考cassandra的实现就可
以了，具体和读写模式有关。

【在 a******b 的大作中提到】

: 题目：
: 要把100g的数据（很多小文件）复制到10000台机器上，怎样做最好？如何保证数据传
: 输的一致性？
: 最近L家面试的时候有被问到，感觉完全回答不到点子上，不知道面试官想考察哪个方
: 面。既然只有10000个机器，是不是一个机器写个loop scp就可以了？然后scp完了直接
: cksum对比？大牛们帮忙分析分析
: 类似的一道经典题
: 设计题，传输10G的data到5个data center，每个data center 有1000的节点

a*b2017-04-02 07:04

3 楼

可能我意思没说清楚，他说目的是每个机器都有完整的100G 数据，不是paritition或
者sharding，我就没搞懂这里，那不是直接start 10000个 scp session 直接copy不就
完了？还是我理解错了

【在 d****n 的大作中提到】

: 其实就是考你到底要存几份，然后怎么存在几台机器上的。例如你说前100个文件都存
: 前10台电脑，这当然可以，但是不见得最安全。如果是这个参考cassandra的实现就可
: 以了，具体和读写模式有关。