最快速度拷贝10G文件到100台机器# JobHunting - 待字闺中
y*c
1 楼
这个bittorrent可以做。
从design跟设计上有没有可以在面试中说清楚的。
如果有人知道free, simple solution (non bittorrent client)么？
从design跟设计上有没有可以在面试中说清楚的。
如果有人知道free, simple solution (non bittorrent client)么？
t*e
2 楼
很实际的问题，同问好的解法。
J*i
3 楼
像细菌那样一分二二分四的指数增长不是最快的么
如果要考虑高效率的用内存做硬盘的cache，那就更复杂了
如果要考虑高效率的用内存做硬盘的cache，那就更复杂了
w*x
4 楼
考虑到带宽限制, branch out有个limit
t*t
5 楼
multicast?
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
a*m
6 楼
看瓶颈。一般是网络吧。已经知道目标机器和数目而且文件固定的话比bt简单很多。随
时都是一对一传送，每个传送可以考虑象快车那样分块分县城。
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
时都是一对一传送，每个传送可以考虑象快车那样分块分县城。
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
t*r
7 楼
ｍａｒｋ
a*s
8 楼
是故，易有大极，是生两仪，两仪生四象，四象生八卦，八卦定吉凶，吉凶生大业
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
l*m
9 楼
google 面的时候问过我这道题
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么？
c*n
10 楼
Facebook 面试的时候问过我这题，4个datacenter，10G大文件，分发。
z*n
11 楼
这个是不是用 gossip 算法
w*s
12 楼
multicast, there's an implementation:
http://www.informatica.com/us/products/messaging/
Informatica Messaging is a family of next-generation low latency messaging
software products. They deliver extremely low latency messaging over any
network, along with very high throughput, with 24x7 reliability. With these
low latency messaging products, your IT organization can dramatically
improve messaging system resilience and performance, reduce IT
infrastructure costs, and develop trading applications that enhance
competitive advantage.
http://www.informatica.com/us/products/messaging/
Informatica Messaging is a family of next-generation low latency messaging
software products. They deliver extremely low latency messaging over any
network, along with very high throughput, with 24x7 reliability. With these
low latency messaging products, your IT organization can dramatically
improve messaging system resilience and performance, reduce IT
infrastructure costs, and develop trading applications that enhance
competitive advantage.
t*e
13 楼
易经就是牛啊，看来几千年前的古人就已经解决这个问题了哈哈，复杂度应该是O(logN
).
【在 a*******s 的大作中提到】
: 是故，易有大极，是生两仪，两仪生四象，四象生八卦，八卦定吉凶，吉凶生大业
).
【在 a*******s 的大作中提到】
: 是故，易有大极，是生两仪，两仪生四象，四象生八卦，八卦定吉凶，吉凶生大业
w*x
14 楼
你带宽限制的瓶颈怎么减轻的??
感觉就是图的发散, 有其他后续问题吗
【在 c*********n 的大作中提到】
: Facebook 面试的时候问过我这题，4个datacenter，10G大文件，分发。
r*g
15 楼
能说一下interviewer期待什么方面的答案么？比如是希望提供很多种算法呢？还是期
待一个算法的implementation？
另外，我想肯定会问到：如果传到一半断网了怎么办？怎么续传吧？
【在 c*********n 的大作中提到】
: Facebook 面试的时候问过我这题，4个datacenter，10G大文件，分发。
待一个算法的implementation？
另外，我想肯定会问到：如果传到一半断网了怎么办？怎么续传吧？
【在 c*********n 的大作中提到】
: Facebook 面试的时候问过我这题，4个datacenter，10G大文件，分发。
c*n
16 楼
他们期待的大概就是这种分层的传输，4个DATACENTER之间有一个master机器拿到数据
以后，防止一下子占掉带宽，可以先分给四五个机器，分四五个cluster，每个cluster
之间分两层，这样会比较好一些吧。
bittorrent 的我不太了解，不知道怎么样
【在 r********g 的大作中提到】
: 能说一下interviewer期待什么方面的答案么？比如是希望提供很多种算法呢？还是期
: 待一个算法的implementation？
: 另外，我想肯定会问到：如果传到一半断网了怎么办？怎么续传吧？
以后，防止一下子占掉带宽，可以先分给四五个机器，分四五个cluster，每个cluster
之间分两层，这样会比较好一些吧。
bittorrent 的我不太了解，不知道怎么样
【在 r********g 的大作中提到】
: 能说一下interviewer期待什么方面的答案么？比如是希望提供很多种算法呢？还是期
: 待一个算法的implementation？
: 另外，我想肯定会问到：如果传到一半断网了怎么办？怎么续传吧？
w*x
17 楼
cluster
意思就是4个data center是4个LAN.
开始的机器先传到另外3个datacenter,
然后每个data center的那个机器再像自己LAN里的机器传输??
【在 c*********n 的大作中提到】
: 他们期待的大概就是这种分层的传输，4个DATACENTER之间有一个master机器拿到数据
: 以后，防止一下子占掉带宽，可以先分给四五个机器，分四五个cluster，每个cluster
: 之间分两层，这样会比较好一些吧。
: bittorrent 的我不太了解，不知道怎么样
y*c
18 楼
我觉得秋虫说的分成pieces可以加快distribution, 然后每个node就可以serve这些
pieces了。关键是一个更清晰的prototol（比bittorrent简单很多，因为不需要search
）或者性能分析。不一定是面试时间内需要搞清楚。这个需求大公司到处都有。
pieces了。关键是一个更清晰的prototol（比bittorrent简单很多，因为不需要search
）或者性能分析。不一定是面试时间内需要搞清楚。这个需求大公司到处都有。
w*z
19 楼
y*c
20 楼
say push file with size F to N nodes, each node has download speed and
upload speed di and si, the lower bound of completion time is max{F/u_s, F/
min{di}, NF/(u_s + sum{ui})} and I think this lower bound can be achieved
closely.
example, F=16G, N=16, divide the file into 16 pieces
after 1s: each node has one piece
after 1s: each node has two pieces by exchanging (0-1, 2-3, etc)
after 2s: each node has four ((01)-(23), etc)
after 4s: each node has eight
after 8s: each node has 16
total 16s
upload speed di and si, the lower bound of completion time is max{F/u_s, F/
min{di}, NF/(u_s + sum{ui})} and I think this lower bound can be achieved
closely.
example, F=16G, N=16, divide the file into 16 pieces
after 1s: each node has one piece
after 1s: each node has two pieces by exchanging (0-1, 2-3, etc)
after 2s: each node has four ((01)-(23), etc)
after 4s: each node has eight
after 8s: each node has 16
total 16s
x*1
21 楼
pipeline + chain
pipeline size = the file size which can reach peak i/o bw.
pipeline size = the file size which can reach peak i/o bw.
相关阅读
面试时H1b的gap怎么说比较好？请问intel电面一般多久出结果？经济好转了？请教：最后一学期可以申请CPT么？资料都准备好了，毕业证学校还没寄来，怎么办啊大家看看这样做合适不合适有哪位了解criminal check国内部分是怎么操作的吗？靠， linkedin密码泄漏了。急问：24小时内连喝4罐红牛会出事吗？Life Technologies 这个公司怎么样？LCA 今天还没file,是不是不赶趟了，求blessHuawei USA (Santa Clara) is hiring Big Data Solutions Architects做题更有压力了奇怪的broadcom。。。。给我办H1b的律师度假去了听说bb不裁人 历史上提个醒， 关于same day deliveryonsite快20天了，煎熬中……要不要去面试问一下CSC的OPT