现在大规模ML的训练网络还是瓶颈了吗# Programming - 葵花宝典
b*o
1 楼
不怎么做蛋糕，每次做完就吃完，绝对不留一点，所以没有研究过如何保存蛋糕。我想
今晚做好muffin，但是不知道晚上怎么保存到明天，是放冰箱冷冻还是冷藏？
今晚做好muffin，但是不知道晚上怎么保存到明天，是放冰箱冷冻还是冷藏？
a*6
2 楼
我有个朋友啊，我这是也是真心的醉了，因为他真的是浑身的负能量啊。搞的我现在都
不想跟他在一起玩了。他这心情一不好，总是各种抱怨什么的。我这说他吧我还生了一
肚子气，所以我觉得根本没有必要嘛。如果要是跟他时间在一起长了，我这都要少活多
少年啊。
但是我要是不跟他玩了，那么基本上就没有人愿意跟他在一起玩了，因为大家都觉得他
身上的负能量太多了。跟他在一起玩也会让自己满身的负能量，所以我现在就考虑还要
不要跟他在一起玩。
不想跟他在一起玩了。他这心情一不好，总是各种抱怨什么的。我这说他吧我还生了一
肚子气，所以我觉得根本没有必要嘛。如果要是跟他时间在一起长了，我这都要少活多
少年啊。
但是我要是不跟他玩了，那么基本上就没有人愿意跟他在一起玩了，因为大家都觉得他
身上的负能量太多了。跟他在一起玩也会让自己满身的负能量，所以我现在就考虑还要
不要跟他在一起玩。
s*k
3 楼
是不是很多cloud商都上了100G Ethernet？那么之前10G，1G时期GPU太快网络太慢的情
况大有好转？还有N加那些GPU直连的NCCL之类实际中用的多吗？主流系统中是不是还是
paramter severer为主？
况大有好转？还有N加那些GPU直连的NCCL之类实际中用的多吗？主流系统中是不是还是
paramter severer为主？
F*t
4 楼
我放冷藏，吃1周，吃之前进微波炉打20s
f*2
5 楼
我觉得应该是。类似MPI里面的大部分问题（除了embarrassingly parallel那类），但
我觉得问题不是带宽，而是延时。
parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
我觉得问题不是带宽，而是延时。
parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
f*e
6 楼
冷藏就可以啦
如果你打算放一个月，可以冷冻~
如果你打算放一个月，可以冷冻~
s*k
7 楼
比如用FPGA，可以解决部分延时因为可以并行生成很多模块，但是网络的delay还是没
法解决啊
【在 f******2 的大作中提到】
: 我觉得应该是。类似MPI里面的大部分问题（除了embarrassingly parallel那类），但
: 我觉得问题不是带宽，而是延时。
: parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
法解决啊
【在 f******2 的大作中提到】
: 我觉得应该是。类似MPI里面的大部分问题（除了embarrassingly parallel那类），但
: 我觉得问题不是带宽，而是延时。
: parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
k*u
8 楼
我喜欢吃冷蛋糕，就放在保鲜盒里盖好盖子放在冰箱，随吃随取，哈哈哈
l*m
9 楼
多机网络瓶颈很大。其实大部分单机4或8个GPU就够了。因为要调参，并行跑几个
INSTANCE也挺好。
【在 s********k 的大作中提到】
: 是不是很多cloud商都上了100G Ethernet？那么之前10G，1G时期GPU太快网络太慢的情
: 况大有好转？还有N加那些GPU直连的NCCL之类实际中用的多吗？主流系统中是不是还是
: paramter severer为主？
INSTANCE也挺好。
【在 s********k 的大作中提到】
: 是不是很多cloud商都上了100G Ethernet？那么之前10G，1G时期GPU太快网络太慢的情
: 况大有好转？还有N加那些GPU直连的NCCL之类实际中用的多吗？主流系统中是不是还是
: paramter severer为主？
b*o
10 楼
谢谢大家了，我也喜欢吃冷蛋糕，感觉结构好紧实。
【在 b*****o 的大作中提到】
: 不怎么做蛋糕，每次做完就吃完，绝对不留一点，所以没有研究过如何保存蛋糕。我想
: 今晚做好muffin，但是不知道晚上怎么保存到明天，是放冰箱冷冻还是冷藏？
【在 b*****o 的大作中提到】
: 不怎么做蛋糕，每次做完就吃完，绝对不留一点，所以没有研究过如何保存蛋糕。我想
: 今晚做好muffin，但是不知道晚上怎么保存到明天，是放冰箱冷冻还是冷藏？
s*k
11 楼
多个GPU在单机上现在主流interface是PCIE还是N家那个NCCL？
【在 l*******m 的大作中提到】
: 多机网络瓶颈很大。其实大部分单机4或8个GPU就够了。因为要调参，并行跑几个
: INSTANCE也挺好。
【在 l*******m 的大作中提到】
: 多机网络瓶颈很大。其实大部分单机4或8个GPU就够了。因为要调参，并行跑几个
: INSTANCE也挺好。
l*m
12 楼
NCCL是软件，应该PCIE VS NVLINK
小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
会有货。PCI-E 5是V3的4倍。
【在 s********k 的大作中提到】
: 多个GPU在单机上现在主流interface是PCIE还是N家那个NCCL？
小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
会有货。PCI-E 5是V3的4倍。
【在 s********k 的大作中提到】
: 多个GPU在单机上现在主流interface是PCIE还是N家那个NCCL？
w*g
13 楼
我都还是pcie2，最近才有一台e3。比了下，确实慢一点，但也慢不太多。
nvlink这种根本用不起，想都不用想。
【在 l*******m 的大作中提到】
: NCCL是软件，应该PCIE VS NVLINK
: 小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
: 会有货。PCI-E 5是V3的4倍。
nvlink这种根本用不起，想都不用想。
【在 l*******m 的大作中提到】
: NCCL是软件，应该PCIE VS NVLINK
: 小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
: 会有货。PCI-E 5是V3的4倍。
w*r
14 楼
哥们真励志啊啊啊啊!
: 我都还是pcie2，最近才有一台e3。比了下，确实慢一点，但也慢不太多。
: nvlink这种根本用不起，想都不用想。
【在 w***g 的大作中提到】
: 我都还是pcie2，最近才有一台e3。比了下，确实慢一点，但也慢不太多。
: nvlink这种根本用不起，想都不用想。
: 我都还是pcie2，最近才有一台e3。比了下，确实慢一点，但也慢不太多。
: nvlink这种根本用不起，想都不用想。
【在 w***g 的大作中提到】
: 我都还是pcie2，最近才有一台e3。比了下，确实慢一点，但也慢不太多。
: nvlink这种根本用不起，想都不用想。
s*k
15 楼
所以说这种NVLINK之类的优势就会逐渐减小？
【在 l*******m 的大作中提到】
: NCCL是软件，应该PCIE VS NVLINK
: 小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
: 会有货。PCI-E 5是V3的4倍。
【在 l*******m 的大作中提到】
: NCCL是软件，应该PCIE VS NVLINK
: 小作坊基本还靠PCI-E3. AWS V100都有NVLINK。明年PCI-E 4就会出货。后年PCI-E 5也
: 会有货。PCI-E 5是V3的4倍。
s*k
16 楼
你说的问题是延时不是带宽主要就是serving时候的？FPGA是目前延时解决最理想的除
了大规模投入的ASIC之外？
【在 f******2 的大作中提到】
: 我觉得应该是。类似MPI里面的大部分问题（除了embarrassingly parallel那类），但
: 我觉得问题不是带宽，而是延时。
: parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
了大规模投入的ASIC之外？
【在 f******2 的大作中提到】
: 我觉得应该是。类似MPI里面的大部分问题（除了embarrassingly parallel那类），但
: 我觉得问题不是带宽，而是延时。
: parameter server这种可能把问题alleviate了，但是根本问题应该是没有解决。
l*m
17 楼
没呀。女大每两年2x一下nvlink. 还有牙膏厂不推出支持新的pcie的cpu, 也没用呀。
：所以说这种NVLINK之类的优势就会逐渐减小？
：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
：所以说这种NVLINK之类的优势就会逐渐减小？
：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
s*k
18 楼
GPU多卡之间有RDMA之类的支持吗
【在 l*******m 的大作中提到】
: 没呀。女大每两年2x一下nvlink. 还有牙膏厂不推出支持新的pcie的cpu, 也没用呀。
:
: ：所以说这种NVLINK之类的优势就会逐渐减小？
: ：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
【在 l*******m 的大作中提到】
: 没呀。女大每两年2x一下nvlink. 还有牙膏厂不推出支持新的pcie的cpu, 也没用呀。
:
: ：所以说这种NVLINK之类的优势就会逐渐减小？
: ：【 在 lightroom (吃一条鱼，思考一个问题，法号三丰) 的大作中提到: 】
l*m
19 楼
几年前就有
【在 s********k 的大作中提到】
: GPU多卡之间有RDMA之类的支持吗
【在 s********k 的大作中提到】
: GPU多卡之间有RDMA之类的支持吗
s*k
20 楼
如果是CPU的RAM和GPU的memory之间，是不是就只能用memcpy了？
【在 l*******m 的大作中提到】
: 几年前就有
【在 l*******m 的大作中提到】
: 几年前就有
g*t
21 楼
别着急。竞争会导致牛顿法，共轭梯度什么的进来。以前tensorflow海塞阵都没有的。
慢慢算法会改进的。
慢慢算法会改进的。
l*m
22 楼
要用cudaMemcpy。 memcpy只能看到host上的内存，看不到device的内存
【在 s********k 的大作中提到】
: 如果是CPU的RAM和GPU的memory之间，是不是就只能用memcpy了？
【在 s********k 的大作中提到】
: 如果是CPU的RAM和GPU的memory之间，是不是就只能用memcpy了？
s*k
23 楼
cudaMemcpy是从GPU到CPU还是双向都可以。这个Host指的是OS管理的？
【在 l*******m 的大作中提到】
: 要用cudaMemcpy。 memcpy只能看到host上的内存，看不到device的内存
【在 l*******m 的大作中提到】
: 要用cudaMemcpy。 memcpy只能看到host上的内存，看不到device的内存
l*m
24 楼
cuda allocates host and device memory and transfers data bi-directionally.
【在 s********k 的大作中提到】
: cudaMemcpy是从GPU到CPU还是双向都可以。这个Host指的是OS管理的？
【在 s********k 的大作中提到】
: cudaMemcpy是从GPU到CPU还是双向都可以。这个Host指的是OS管理的？
相关阅读
wwzz请进神逆转：手机厂商成芯片厂商“老大”(转载）码农在家上班的机会多吗 (转载)你们都上什么网站？抱怨下G的code review process各位用parquet＋HDFS的多吗？原来大家都在这里javascript是大势所趋，应该有人搞个java WatchService on urlContiue with my node questions聊聊码农赚钱请问怎样把以前做的项目保存积累下来？programming, coding有没有什么微信群？求开源的通用PHP的Apache程序用于MySQL查询操作板上有没有对angularjs route resolve比较熟悉的？cloud scale out根本不是job security计算机硕士找工作问题从java读取python输出的pytables越来越觉得spark是niche软软又被黑了