求paper - 未名空间MITBBS历史存档

s*o2010-10-05 07:10

1 楼

昨晚打电话无数，终于在凌晨１点老妈回来接了电话说过了。
老妈以前签过２次，来过３次美国，每次都按时回去的。她去的那个窗口是个男的，具
体是谁不知道，不过好象过的人不见，妈妈前面两个就都锯了。
就问了妈妈去美国干吗（玩，以前都是冬天去的，这次要夏天去）。
女儿在哪里。
会去看小孩吗。（我把注册summer camp的check copy让妈妈带去了，好象挺有用的）
问了我妈前两次去美国身体怎么样。
看了我们的７９７，i９４，签证，护照，邀请信和照片。然后说你可以走了。我妈问
那是通过了还是没过啊，VO说你看我没把护照换给你就说明你过了。呵呵。
对了中间那个VO说了句你以前都按规定时间回来的，可以考虑给你签证，把我妈吓的半
死。。。

n*72010-10-05 07:10

2 楼

最近看一篇文章，GPU计算的
用的deep learning
其中提到NN的计算复杂度是O(MN+LN^2)
M是输入的unit，N是所有layer的hidden unit，L是layer数
然后用GPU并行之后，就是M，N的linear时间复杂度了？
说原因是，计算两个N dimension vector的内积，用CPU是O(N)的，用GPU是O(1)
这是鬼扯吧？
我怀疑实际原因是，他们的GPU平台有近3K个core，计算中M在2000左右，N在几千数量级
所以他们是用core的数量K 抵消的一个N的复杂度
大家看是不是这样？

c*r2010-10-05 07:10

3 楼

THE PHYTOALEXIN RESPONSE: ELICITATION, SIGNALLING AND CONTROL OF HOST GENE
EXPRESSION
RICHARD A. DIXON
Biological Reviews
Volume 61, Issue 3, pages 239–291, August 1986
谢谢!

y*92010-10-05 07:10

4 楼

cong

d*n2010-10-05 07:10

5 楼

http://gamedev.stackexchange.com/questions/17243/how-many-paral

k*u2010-10-05 07:10

6 楼

cong

昨晚打电话无数，终于在凌晨１点老妈回来接了电话说过了。
老妈以前签过２次，来过３次美国，每次都按时回去的。她去的那个窗口是个男的，具
体是谁不知道，不过好象过的人不见，妈妈前面两个就都锯了。
就问了妈妈去美国干吗（玩，以前都是冬天去的，这次要夏天去）。
女儿在哪里。
会去看小孩吗。（我把注册summer camp的check copy让妈妈带去了，好象挺有用的）
问了我妈前两次去美国身体怎么样。
看了我们的７９７，i９４，签证，护照，邀请信和照片。然后说你可以走了。我妈问
那是通过了还是没过啊，VO说你看我没把护照换给你就说明你过了。呵呵。
对了中间那个VO说了句你以前都按规定时间回来的，可以考虑给你签证，把我妈吓的半
死。。。

【在 s*******o 的大作中提到】

: 昨晚打电话无数，终于在凌晨１点老妈回来接了电话说过了。
: 老妈以前签过２次，来过３次美国，每次都按时回去的。她去的那个窗口是个男的，具
: 体是谁不知道，不过好象过的人不见，妈妈前面两个就都锯了。
: 就问了妈妈去美国干吗（玩，以前都是冬天去的，这次要夏天去）。
: 女儿在哪里。
: 会去看小孩吗。（我把注册summer camp的check copy让妈妈带去了，好象挺有用的）
: 问了我妈前两次去美国身体怎么样。
: 看了我们的７９７，i９４，签证，护照，邀请信和照片。然后说你可以走了。我妈问
: 那是通过了还是没过啊，VO说你看我没把护照换给你就说明你过了。呵呵。
: 对了中间那个VO说了句你以前都按规定时间回来的，可以考虑给你签证，把我妈吓的半

n*72010-10-05 07:10

7 楼

这个link的意思是啥？
他们用的tesla k40c，有2880个units

【在 d****n 的大作中提到】

: http://gamedev.stackexchange.com/questions/17243/how-many-paral

s*u2010-10-05 07:10

8 楼

cong

【在 s*******o 的大作中提到】

: 昨晚打电话无数，终于在凌晨１点老妈回来接了电话说过了。
: 老妈以前签过２次，来过３次美国，每次都按时回去的。她去的那个窗口是个男的，具
: 体是谁不知道，不过好象过的人不见，妈妈前面两个就都锯了。
: 就问了妈妈去美国干吗（玩，以前都是冬天去的，这次要夏天去）。
: 女儿在哪里。
: 会去看小孩吗。（我把注册summer camp的check copy让妈妈带去了，好象挺有用的）
: 问了我妈前两次去美国身体怎么样。
: 看了我们的７９７，i９４，签证，护照，邀请信和照片。然后说你可以走了。我妈问
: 那是通过了还是没过啊，VO说你看我没把护照换给你就说明你过了。呵呵。
: 对了中间那个VO说了句你以前都按规定时间回来的，可以考虑给你签证，把我妈吓的半

d*i2010-10-05 07:10

9 楼

都是瞎jb扯蛋的，计算复杂度和并不并行没有关系，只和神经网络的节点数有关。

量级

【在 n******7 的大作中提到】

: 最近看一篇文章，GPU计算的
: 用的deep learning
: 其中提到NN的计算复杂度是O(MN+LN^2)
: M是输入的unit，N是所有layer的hidden unit，L是layer数
: 然后用GPU并行之后，就是M，N的linear时间复杂度了？
: 说原因是，计算两个N dimension vector的内积，用CPU是O(N)的，用GPU是O(1)
: 这是鬼扯吧？
: 我怀疑实际原因是，他们的GPU平台有近3K个core，计算中M在2000左右，N在几千数量级
: 所以他们是用core的数量K 抵消的一个N的复杂度
: 大家看是不是这样？

n*72010-10-05 07:10

10 楼

thx
我也这么觉得，我看他们还是informatics dept的，琢磨是不是有啥我不明白的

【在 d****i 的大作中提到】

: 都是瞎jb扯蛋的，计算复杂度和并不并行没有关系，只和神经网络的节点数有关。
:
: 量级

d*i2010-10-05 07:10

11 楼

现在的人哪，尤其是学术界出来的人，啥jb都敢吹，工业界干实际活的要多一份自己的
基本的判断力。什么新语言忽悠两下基本都是扯的。

【在 n******7 的大作中提到】

: thx
: 我也这么觉得，我看他们还是informatics dept的，琢磨是不是有啥我不明白的

w*g2010-10-05 07:10

12 楼

扯淡。O(N)是N趋向于无穷大时的notation。GPU的core是常数。按他们的说法，还不如
说在他们的平台上复杂度是O(1)。再说各层的N根本就不一样。2012年Hinto组做
imagenet那个经典的架构，其中一个最大的fully connected层就占计算量的近80%，就
是个矩阵乘法。
Deep learning的文章，建议除了几个有名的大组，以及NIPS CVPR/ICCV水平的paper看
看。别的blog啥的最好不要看。误导性太强了，因为作者都不知道自己是错的。
就是高水平的paper，都不能保证结果是对的。我前两天还提过Jeff Dean那篇论文。
训练速度基本上是O(log(N)), N=机器台数。N>1000以后，增加机器/core的个数对提高
速度帮助甚小。

量级

【在 n******7 的大作中提到】

: 最近看一篇文章，GPU计算的
: 用的deep learning
: 其中提到NN的计算复杂度是O(MN+LN^2)
: M是输入的unit，N是所有layer的hidden unit，L是layer数
: 然后用GPU并行之后，就是M，N的linear时间复杂度了？
: 说原因是，计算两个N dimension vector的内积，用CPU是O(N)的，用GPU是O(1)
: 这是鬼扯吧？
: 我怀疑实际原因是，他们的GPU平台有近3K个core，计算中M在2000左右，N在几千数量级
: 所以他们是用core的数量K 抵消的一个N的复杂度
: 大家看是不是这样？

n*72010-10-05 07:10

13 楼

谢谢，学习了。这是审的一篇论文，因为觉得太假以至于不敢确定他们错了

【在 w***g 的大作中提到】

: 扯淡。O(N)是N趋向于无穷大时的notation。GPU的core是常数。按他们的说法，还不如
: 说在他们的平台上复杂度是O(1)。再说各层的N根本就不一样。2012年Hinto组做
: imagenet那个经典的架构，其中一个最大的fully connected层就占计算量的近80%，就
: 是个矩阵乘法。
: Deep learning的文章，建议除了几个有名的大组，以及NIPS CVPR/ICCV水平的paper看
: 看。别的blog啥的最好不要看。误导性太强了，因为作者都不知道自己是错的。
: 就是高水平的paper，都不能保证结果是对的。我前两天还提过Jeff Dean那篇论文。
: 训练速度基本上是O(log(N)), N=机器台数。N>1000以后，增加机器/core的个数对提高
: 速度帮助甚小。
:

n*72010-10-05 07:10

14 楼

我是学术界混，杀老鼠的。学术界确实吹的多，不然大部分能力平平的人怎么混饭吃啊

【在 d****i 的大作中提到】

: 现在的人哪，尤其是学术界出来的人，啥jb都敢吹，工业界干实际活的要多一份自己的
: 基本的判断力。什么新语言忽悠两下基本都是扯的。

N*n2010-10-05 07:10

15 楼

O(N)->O(1)是不可能的。不过十个COMPUTING UNIT并行降一个MAGNITUE
还是不错的，学术界提速10%就能出PAPER吹了。

【在 n******7 的大作中提到】

: 我是学术界混，杀老鼠的。学术界确实吹的多，不然大部分能力平平的人怎么混饭吃啊

h*u2010-10-05 07:10

16 楼

非并行算法改成并行，用gpu，也算有点贡献。
并行算法直接上gpu那算个毛啊

【在 n******7 的大作中提到】

: 谢谢，学习了。这是审的一篇论文，因为觉得太假以至于不敢确定他们错了

a*n2010-10-05 07:10

17 楼

如果core的数大于n，这么理解也没有错吧。

n*72010-10-05 07:10

18 楼

还是有错，因为core数不能无限大，n可以无限大

【在 a***n 的大作中提到】

: 如果core的数大于n，这么理解也没有错吧。

l*m2010-10-05 07:10

19 楼

并行计算的瓶颈主要在IO。就是单机GPU。把DATA从CPU推到GPU就不少时间。而且CUDA
async queue好像有些问题。nvidia 的新的接口nvidia-link据说不错。

【在 n******7 的大作中提到】

: 还是有错，因为core数不能无限大，n可以无限大

T*i2010-10-05 07:10

20 楼

只有量子计算机能做到NP=P。相当于无穷CPU的非确定图灵机。
最牛的也就只能做到无穷个平行宇宙参与计算所有分支。哪个先停机状态就会首先坍塌。
没准我们灌水等行为其实也是外星人算题的一部分。
恭喜古德霸终于找到了他生命的意义。虽然他生命意义就是帮助外星人计算pi的第一亿
亿位是几？

量级

【在 n******7 的大作中提到】

: 最近看一篇文章，GPU计算的
: 用的deep learning
: 其中提到NN的计算复杂度是O(MN+LN^2)
: M是输入的unit，N是所有layer的hidden unit，L是layer数
: 然后用GPU并行之后，就是M，N的linear时间复杂度了？
: 说原因是，计算两个N dimension vector的内积，用CPU是O(N)的，用GPU是O(1)
: 这是鬼扯吧？
: 我怀疑实际原因是，他们的GPU平台有近3K个core，计算中M在2000左右，N在几千数量级
: 所以他们是用core的数量K 抵消的一个N的复杂度
: 大家看是不是这样？