NVDA 股东们，狼来了！一只。 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Stock

NVDA 股东们，狼来了！一只。

NVDA 股东们，狼来了！一只。# Stock

a*w2017-06-09 07:06

1 楼

刚收到“狼来了”报警，一种新算法出现，减少95% Deep Learning 计算量，那要减少
多少GPU需求量？
https://www.sciencedaily.com/releases/2017/06/170601135633.htm
It addresses one of the biggest issues facing tech giants like Google,
Facebook and Microsoft as they race to build, train and deploy massive deep-
learning networks for a growing body of products as diverse as self-driving
cars, language translators and intelligent replies to emails.

c*a2017-06-09 07:06

2 楼

计算量要求永远不会停息。计算能力上去了新的应用就来了。再有1000倍计算能力（以
及配套内存带宽）都能够用完。你看显卡这么多年一直升级新的游戏还是很
challenging

f*y2017-06-09 07:06

3 楼

Andy gives, Bill takes away

deep-
driving

【在 a***w 的大作中提到】

: 刚收到“狼来了”报警，一种新算法出现，减少95% Deep Learning 计算量，那要减少
: 多少GPU需求量？
: https://www.sciencedaily.com/releases/2017/06/170601135633.htm
: It addresses one of the biggest issues facing tech giants like Google,
: Facebook and Microsoft as they race to build, train and deploy massive deep-
: learning networks for a growing body of products as diverse as self-driving
: cars, language translators and intelligent replies to emails.

C*52017-06-09 07:06

4 楼

看了Reddit ML上的讨论，评价似乎不高啊。瞄了一眼文章，基本上就是个dropout
和剪枝的方法，
作者也没啥底气，就用了个mnist dataset，估计是最简单的MLP网络？能不能推广到更
复杂的网络还存疑。用wdong大牛的话来说，只用mnist dataset的文章都可以不用看。
具体的还是请wdong大牛来评价吧。
另外对science daily这种软文要Take it with a grain of salt。这种都是学校发的
press release 然后 science daily转载的。水分多的很。

deep-
driving

【在 a***w 的大作中提到】

w*g2017-06-09 07:06

5 楼

正好我也是LSH专家。这个论文的方法我觉得:
1. 没法在GPU上实现，只能在CPU上实现。如果在GPU上做，他用LSH加速的
那部分计算iteration速度至少下降两倍。如果要evaluate出来他这个95%，
只能是算浮点数乘法的计算次数，但是随之来的是非乘法计算的增加，
cache hit rate降低，单次乘法速度变慢。这个牛吹得太大了。
2. 目前这个规模的网络用LSH是很难加速的，并且对准确度损失会很大。
并且我在2011年左右就已经实现了用社交网络算法吊打LSH并且对k-NN搜索
社区完成了拨乱反正。Benchmark在此：
https://github.com/erikbern/ann-benchmarks
kgraph是我的项目。最高那条线是个毛子，走的是我的路线。但我确实干不过他。
这paper很可能就是用了我implement的multi-probe LSH。
发明multi-probe的是我师姐, 但她的代码没公开。所以现在能找到的最
标准的multi-probe实现是我的版本。multi-probe针对的是内存不足的情况。
绝大部分引用multi-probe的论文，其实都用错方法了。
3. 只用nmist评测的文章缺乏最基本的诚意，就是想甩个idea出来占坑。
看了之后再次confirm这个观点。
从大方向看, 用稀疏算法在低算力设备上加速计算是对的，加1分。
但是然并卵，老黄马上肯定要霸占手机市场了。
总的来说，算不上狼，只是狼来了。楼上可以接着放心发财。

【在 C*****5 的大作中提到】

: 看了Reddit ML上的讨论，评价似乎不高啊。瞄了一眼文章，基本上就是个dropout
: 和剪枝的方法，
: 作者也没啥底气，就用了个mnist dataset，估计是最简单的MLP网络？能不能推广到更
: 复杂的网络还存疑。用wdong大牛的话来说，只用mnist dataset的文章都可以不用看。
: 具体的还是请wdong大牛来评价吧。
: 另外对science daily这种软文要Take it with a grain of salt。这种都是学校发的
: press release 然后 science daily转载的。水分多的很。
:
: deep-
: driving

C*52017-06-09 07:06

6 楼

有wdong这一宝股版就偷着乐吧。
大家要带眼识人。这才叫计算机博士。

【在 w***g 的大作中提到】

: 正好我也是LSH专家。这个论文的方法我觉得:
: 1. 没法在GPU上实现，只能在CPU上实现。如果在GPU上做，他用LSH加速的
: 那部分计算iteration速度至少下降两倍。如果要evaluate出来他这个95%，
: 只能是算浮点数乘法的计算次数，但是随之来的是非乘法计算的增加，
: cache hit rate降低，单次乘法速度变慢。这个牛吹得太大了。
: 2. 目前这个规模的网络用LSH是很难加速的，并且对准确度损失会很大。
: 并且我在2011年左右就已经实现了用社交网络算法吊打LSH并且对k-NN搜索
: 社区完成了拨乱反正。Benchmark在此：
: https://github.com/erikbern/ann-benchmarks
: kgraph是我的项目。最高那条线是个毛子，走的是我的路线。但我确实干不过他。

w*g2017-06-09 07:06

7 楼

咱哥俩互相吹捧得好！

【在 C*****5 的大作中提到】

: 有wdong这一宝股版就偷着乐吧。
: 大家要带眼识人。这才叫计算机博士。