为什么pytorch可以做到比tf还快？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

为什么pytorch可以做到比tf还快？

为什么pytorch可以做到比tf还快？# Programming - 葵花宝典

d*r2018-06-15 07:06

1 楼

之前（一年半了）工作过的小公司的老板请我回去，现在在大银行但是看不到发展空间
，该怎么选择呢？
谢谢

w*r2018-06-15 07:06

2 楼

tf是static graph，显然对并行优化提供了更多的信息和可能性。
之前看过一个比较，在几个常见模型上，pytorch居然比tf还要稍快一点。

t*82018-06-15 07:06

3 楼

能在下一波裁员潮里面存活的公司优先

g*u2018-06-15 07:06

4 楼

因为tf快被狗家弄成狗屎了
跟狗屎比快也不难

d*r2018-06-15 07:06

5 楼

谢谢

l*m2018-06-15 07:06

6 楼

因为pytorch的理念就是直接用cudnn。狗家自己认为牛逼，总是自己写，然后发现比
cudnn慢个一倍，再写一个用cudnn的，但就有了几个API, 选对了才快。但自己写的一
般先推出，所以快的反而一般人不知道

：tf是static graph，显然对并行优化提供了更多的信息和可能性。
：

w*g2018-06-15 07:06

7 楼

靠，那哪个API是cudnn的？这几天又跟tf slim做了好一番斗争。似乎终于弄对了。

【在 l*******m 的大作中提到】

: 因为pytorch的理念就是直接用cudnn。狗家自己认为牛逼，总是自己写，然后发现比
: cudnn慢个一倍，再写一个用cudnn的，但就有了几个API, 选对了才快。但自己写的一
: 般先推出，所以快的反而一般人不知道
:
: ：tf是static graph，显然对并行优化提供了更多的信息和可能性。
: ：

l*m2018-06-15 07:06

8 楼

估计你也知道：
fused_batch_norm
TF_ENABLE_FFT_TILING_FORWARD=1
cudnn_rnn
nccl_sum for NVLink systems

【在 w***g 的大作中提到】

: 靠，那哪个API是cudnn的？这几天又跟tf slim做了好一番斗争。似乎终于弄对了。