t*5
2 楼
again!
s*l
3 楼
是不是用distributed message queue
scribe之类的？
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
scribe之类的？
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
p*s
4 楼
不是找死，就是大cow..
j*3
5 楼
先mark了一会看大家怎么说
t*5
6 楼
good price to load.
【在 p*****s 的大作中提到】
: 不是找死，就是大cow..
【在 p*****s 的大作中提到】
: 不是找死，就是大cow..
f*t
7 楼
BT
c*2
8 楼
say say why?
【在 p*****s 的大作中提到】
: 不是找死，就是大cow..
【在 p*****s 的大作中提到】
: 不是找死，就是大cow..
s*l
9 楼
你说的BT是BitTorrent?
【在 f*******t 的大作中提到】
: BT
【在 f*******t 的大作中提到】
: BT
B*S
10 楼
I remember ten years ago, major banks' stock stayed in single digit PE for a
long time. It was the housing bubble pumped the stock price.
So I guess it will stay there again for a while...
long time. It was the housing bubble pumped the stock price.
So I guess it will stay there again for a while...
d*v
11 楼
Mark，等着看大牛解答。
f*e
12 楼
盘后进了～
w*e
13 楼
我觉得这题的考察点是distributed system的理论知识
这是一个经典topological aware gossip模型，重点是要调整标准gossip模型以保证
data center间的带宽负荷仍是O(1)
这里有个UIUC ppt讲这个的
https://courses.engr.illinois.edu/cs425/fa2014/L8.fa14.pptx
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
这是一个经典topological aware gossip模型，重点是要调整标准gossip模型以保证
data center间的带宽负荷仍是O(1)
这里有个UIUC ppt讲这个的
https://courses.engr.illinois.edu/cs425/fa2014/L8.fa14.pptx
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
t*5
14 楼
我12.4 进的。
现在看来早了点。加入吴邦。
我去年11.8卖的bac然后丫就一去不回头了。好不容易看到丫回到12.5以下。就忍不住
动手了。
【在 f********e 的大作中提到】
: 盘后进了～
现在看来早了点。加入吴邦。
我去年11.8卖的bac然后丫就一去不回头了。好不容易看到丫回到12.5以下。就忍不住
动手了。
【在 f********e 的大作中提到】
: 盘后进了～
f*l
15 楼
和gossip没关，那玩意是用来维护membership的... BitTorrent,看看twitter的murder
，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说)
，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说)
k*a
16 楼
感觉还是gossip啊，
不一定只能用gossip维护membership。
如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
息给它知道的周边邻居节点。然后，eventually文件传递完成。
数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
以了吧。
不一定只能用gossip维护membership。
如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
息给它知道的周边邻居节点。然后，eventually文件传递完成。
数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
以了吧。
s*l
17 楼
用gossip传大文件 network traffic会不会太大了啊？
而且 是不是还要加个机制保证order啊~
【在 k******a 的大作中提到】
: 感觉还是gossip啊，
: 不一定只能用gossip维护membership。
: 如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
: 据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
: 息给它知道的周边邻居节点。然后，eventually文件传递完成。
: 数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
: 以了吧。
而且 是不是还要加个机制保证order啊~
【在 k******a 的大作中提到】
: 感觉还是gossip啊，
: 不一定只能用gossip维护membership。
: 如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
: 据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
: 息给它知道的周边邻居节点。然后，eventually文件传递完成。
: 数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
: 以了吧。
z*o
18 楼
觉得bt，或者稍微变形够了，
tracker， seeder，peers，稍微吹吹够了。
gossip有点过，over kill
murder
【在 f*********l 的大作中提到】
: 和gossip没关，那玩意是用来维护membership的... BitTorrent,看看twitter的murder
: ，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说)
tracker， seeder，peers，稍微吹吹够了。
gossip有点过，over kill
murder
【在 f*********l 的大作中提到】
: 和gossip没关，那玩意是用来维护membership的... BitTorrent,看看twitter的murder
: ，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说)
s*e
19 楼
等着看大牛解答。
g*g
20 楼
一种做法是分块，并行 UDP。见 Aspera.
z*o
21 楼
听闻aspera是ibm的专利
【在 g*****g 的大作中提到】
: 一种做法是分块，并行 UDP。见 Aspera.
【在 g*****g 的大作中提到】
: 一种做法是分块，并行 UDP。见 Aspera.
g*g
22 楼
IBM收购了这个公司。
【在 z*******o 的大作中提到】
: 听闻aspera是ibm的专利
【在 z*******o 的大作中提到】
: 听闻aspera是ibm的专利
k*a
23 楼
我的意思是用gossip的思想，
一个消息X是文件的M OUT OF N parts。
当节点A收到X，A试图将X传给它的邻居B,C。如果B已经有X，那么就不给B传。
network traffic的问题可以通过控制
1. 消息大小
2. 邻居个数
3. 同时传输的消息的个数
来mitigate。
消息达到的order不重要，只要全部parts都到了，组合成文件即可。
【在 s********l 的大作中提到】
: 用gossip传大文件 network traffic会不会太大了啊？
: 而且 是不是还要加个机制保证order啊~
相关阅读