DNN就是hype - 未名空间MITBBS历史存档

h*i2016-02-19 08:02

1 楼

”同一算法解决很多不同的问题“，换个说法，其实就是overfit。尼玛上亿的参数，
当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
征，没有什么能重用的东西。
总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
truth的。不说别的，最简单的常识推理，DNN就搞不定。

r*g2016-02-19 08:02

2 楼

啥常识推理搞不定？说说看哥给你搞定。

ground

【在 h*i 的大作中提到】

: ”同一算法解决很多不同的问题“，换个说法，其实就是overfit。尼玛上亿的参数，
: 当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
: 征，没有什么能重用的东西。
: 总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
: ，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
: truth的。不说别的，最简单的常识推理，DNN就搞不定。

p*r2016-02-19 08:02

3 楼

为啥索男泡不到白富美

【在 r**********g 的大作中提到】

: 啥常识推理搞不定？说说看哥给你搞定。
:
: ground

h*i2016-02-19 08:02

4 楼

还真敢扯啊。可见追捧DNN还真是一种无知无畏的表现。

【在 r**********g 的大作中提到】

: 啥常识推理搞不定？说说看哥给你搞定。
:
: ground

r*g2016-02-19 08:02

5 楼

其实咱这么说吧，DNN是新的编程语言，好比高级语言刚出现的时候，把寄存器，中断
都隐藏了，java出来，把内存分配啥都隐藏了，dnn把整个图灵机都隐藏了。什么
overfit，其实大家都在overfit以前人脑overfit现在电脑自己overfit.
高级语言刚出来你有范型，继承各种幺蛾子吗？现在也是一样，不是dnn是hype，而是
刚起步。未来的方向就是纯描述性编程。我要搞个技术，如此这般的需求，电脑你去办
吧。还很遥远，但是会有那一天。

ground

【在 h*i 的大作中提到】

: ”同一算法解决很多不同的问题“，换个说法，其实就是overfit。尼玛上亿的参数，
: 当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
: 征，没有什么能重用的东西。
: 总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
: ，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
: truth的。不说别的，最简单的常识推理，DNN就搞不定。

r*g2016-02-19 08:02

6 楼

你说说呗，我又不赌啥，说个点子给你，指不定你还能发财

【在 h*i 的大作中提到】

: 还真敢扯啊。可见追捧DNN还真是一种无知无畏的表现。

h*i2016-02-19 08:02

7 楼

overfit是最容易的，能overfit的系统多了去了。问题关键是人要能够驾驭它。
DNN的上亿参数人完全不能驾驭，没法影响，如何用它来编程？这不是更高级的抽象，
反而是更低级的抽象。更高级的抽象是越来越接近人的思维和意识，DNN这种算是神经
元级别的抽象，完全不可被人驾驭，就如人的意识不能控制自己的单个神经元一样，就
是驾驭了也没啥用，因为总体大于个体的和。

【在 r**********g 的大作中提到】

: 其实咱这么说吧，DNN是新的编程语言，好比高级语言刚出现的时候，把寄存器，中断
: 都隐藏了，java出来，把内存分配啥都隐藏了，dnn把整个图灵机都隐藏了。什么
: overfit，其实大家都在overfit以前人脑overfit现在电脑自己overfit.
: 高级语言刚出来你有范型，继承各种幺蛾子吗？现在也是一样，不是dnn是hype，而是
: 刚起步。未来的方向就是纯描述性编程。我要搞个技术，如此这般的需求，电脑你去办
: 吧。还很遥远，但是会有那一天。
:
: ground

r*g2016-02-19 08:02

8 楼

没有要你驾驭他，驾驭他是我的事。你给我定义个目标函数就好了。也就是告诉我要干
嘛。

【在 h*i 的大作中提到】

: overfit是最容易的，能overfit的系统多了去了。问题关键是人要能够驾驭它。
: DNN的上亿参数人完全不能驾驭，没法影响，如何用它来编程？这不是更高级的抽象，
: 反而是更低级的抽象。更高级的抽象是越来越接近人的思维和意识，DNN这种算是神经
: 元级别的抽象，完全不可被人驾驭，就如人的意识不能控制自己的单个神经元一样，就
: 是驾驭了也没啥用，因为总体大于个体的和。

h*i2016-02-19 08:02

9 楼

最简单的，bot问我吃了没有，我说吃了，都吃了些啥。过一天它要能回答“我昨天都
吃了些啥？”这样的简单问题，这就很不错了。目前没有什么bot能作这种简单得不能
再简单的事情。你去做一下，就知道这有多难了。
用DNN怎么做？你要会做，我们出来搞个公司发财如何？

【在 r**********g 的大作中提到】

: 你说说呗，我又不赌啥，说个点子给你，指不定你还能发财

h*i2016-02-19 08:02

10 楼

我要能定个目标函数，我还要你干嘛？lol

【在 r**********g 的大作中提到】

: 没有要你驾驭他，驾驭他是我的事。你给我定义个目标函数就好了。也就是告诉我要干
: 嘛。

r*g2016-02-19 08:02

11 楼

不解为啥这个不行。你要搞问答机器人？有数据肯定没问题，怎么会不能做。你先说具
体商业应用吧，你这个简单描述看起来lstm可以轻松搞定。

【在 h*i 的大作中提到】

: 最简单的，bot问我吃了没有，我说吃了，都吃了些啥。过一天它要能回答“我昨天都
: 吃了些啥？”这样的简单问题，这就很不错了。目前没有什么bot能作这种简单得不能
: 再简单的事情。你去做一下，就知道这有多难了。
: 用DNN怎么做？你要会做，我们出来搞个公司发财如何？

r*g2016-02-19 08:02

12 楼

训练。很多时候难的是一大堆矩阵来回乘，要快，要分布式。这些轮子做好了，大家都
在试各种结构，进步就很快。要是每个做hci的都要学cuda才能搞dnn，这事就麻烦了

【在 h*i 的大作中提到】

: 我要能定个目标函数，我还要你干嘛？lol

h*i2016-02-19 08:02

13 楼

我说的是，大多数情况是不知道目标函数是啥。

【在 r**********g 的大作中提到】

: 训练。很多时候难的是一大堆矩阵来回乘，要快，要分布式。这些轮子做好了，大家都
: 在试各种结构，进步就很快。要是每个做hci的都要学cuda才能搞dnn，这事就麻烦了

h*i2016-02-19 08:02

14 楼

不解就虚心一点，别以为会个DNN轮子就能了，就啥都能做了，就skynet了。还差得远
。要这个态度，我看离skynet不是更近了，而是更远了，因为走进了死胡同。

【在 r**********g 的大作中提到】

: 不解为啥这个不行。你要搞问答机器人？有数据肯定没问题，怎么会不能做。你先说具
: 体商业应用吧，你这个简单描述看起来lstm可以轻松搞定。

h*i2016-02-19 08:02

15 楼

对啊，G家那么多数据，那么多DNN牛人，咋没有搞出个能和人正常对话的机器人来？别
跟我说没有商业应用不想搞哦。

【在 r**********g 的大作中提到】

: 不解为啥这个不行。你要搞问答机器人？有数据肯定没问题，怎么会不能做。你先说具
: 体商业应用吧，你这个简单描述看起来lstm可以轻松搞定。

r*g2016-02-19 08:02

16 楼

我都说这个能做了，你又不往下细说。不但能做而且能做得很好。

【在 h*i 的大作中提到】

: 不解就虚心一点，别以为会个DNN轮子就能了，就啥都能做了，就skynet了。还差得远
: 。要这个态度，我看离skynet不是更近了，而是更远了，因为走进了死胡同。

r*g2016-02-19 08:02

17 楼

狗家确实不想搞。我软在搞。细节不能说，慢慢跟踪小冰吧。

【在 h*i 的大作中提到】

: 对啊，G家那么多数据，那么多DNN牛人，咋没有搞出个能和人正常对话的机器人来？别
: 跟我说没有商业应用不想搞哦。

h*i2016-02-19 08:02

18 楼

怎么轻松搞定？
这个问题的难点是你不知道我会问啥子，我问的东西不会出现在你的训练数据中，但也
是任何成人都会回答的问题。也就是所谓的图灵测试。
还没有任何DNN大牛敢说计算机已经能通过图灵测试了，只有半瓶醋的追星族说“可以
用xyz轻松搞定“。

【在 r**********g 的大作中提到】

: 不解为啥这个不行。你要搞问答机器人？有数据肯定没问题，怎么会不能做。你先说具
: 体商业应用吧，你这个简单描述看起来lstm可以轻松搞定。

h*i2016-02-19 08:02

19 楼

小冰，哈哈，小冰说的每句话都是别人说过的，因为它是个information retrieval系
统，不具备任何推理能力。

【在 r**********g 的大作中提到】

: 狗家确实不想搞。我软在搞。细节不能说，慢慢跟踪小冰吧。

r*g2016-02-19 08:02

20 楼

你这就强人所难了要直接ai complete。任何系统都有scope，也需要定义scope。你问
的东西不能出现在我的训练数据中，那么至少其scope要在我的训练数据中。如果你要
做一个万能机器人，可以理解一切回答一切，那就是做一个人了，当然做不到。
但是只要你给定一个scope，dnn能够比所有以前的方法做得都要好。这是我说的意思。
你说我不能解决ai就是傻子那我也没办法，我说的是你给我个ai问题，有商业价值的，
定义好的，我用dnn，你不用dnn，咱们比一比，dnn有九成把握超过你的传统方法。
我这么说明确了吧？咱别老跟人脑比，咱比的是程序对程序，算法对算法，模型对模型
。好吧？你说说，你定义的回答所有问题这件事，传统方法是啥，效果如何。

【在 h*i 的大作中提到】

: 怎么轻松搞定？
: 这个问题的难点是你不知道我会问啥子，我问的东西不会出现在你的训练数据中，但也
: 是任何成人都会回答的问题。也就是所谓的图灵测试。
: 还没有任何DNN大牛敢说计算机已经能通过图灵测试了，只有半瓶醋的追星族说“可以
: 用xyz轻松搞定“。

h*i2016-02-19 08:02

21 楼

我知道还不能做，是因为我知道现在在用DNN来做推理的人在做什么，做的水平如何。
现在用DNN做的，还做不到用简单办法的水平。我也不看好它将来能做得更好，原因就
是我说的，大部分有意思的问题，是没有ground truth的问题。

【在 r**********g 的大作中提到】

: 我都说这个能做了，你又不往下细说。不但能做而且能做得很好。

r*g2016-02-19 08:02

22 楼

一个问题，谁都不能解决，那咱就暂时不解决。有的问题dnn能解决，旧方法不能，那
dnn就牛了，扩展了人类计算技术的疆域，就不是hype。
和任何技术一样，dnn也有局限，就像统计机器学习代替规则，三十年后也碰到天花板
一样。但是今天还没碰到天花板，所有领域都在打破纪录。你这么说hype，只能呵呵了。

【在 r**********g 的大作中提到】

: 你这就强人所难了要直接ai complete。任何系统都有scope，也需要定义scope。你问
: 的东西不能出现在我的训练数据中，那么至少其scope要在我的训练数据中。如果你要
: 做一个万能机器人，可以理解一切回答一切，那就是做一个人了，当然做不到。
: 但是只要你给定一个scope，dnn能够比所有以前的方法做得都要好。这是我说的意思。
: 你说我不能解决ai就是傻子那我也没办法，我说的是你给我个ai问题，有商业价值的，
: 定义好的，我用dnn，你不用dnn，咱们比一比，dnn有九成把握超过你的传统方法。
: 我这么说明确了吧？咱别老跟人脑比，咱比的是程序对程序，算法对算法，模型对模型
: 。好吧？你说说，你定义的回答所有问题这件事，传统方法是啥，效果如何。

r*g2016-02-19 08:02

23 楼

是吗，Bowman 在Arxiv上那篇还可以嘛，我感觉很快就赶上来了。

【在 h*i 的大作中提到】

: 我知道还不能做，是因为我知道现在在用DNN来做推理的人在做什么，做的水平如何。
: 现在用DNN做的，还做不到用简单办法的水平。我也不看好它将来能做得更好，原因就
: 是我说的，大部分有意思的问题，是没有ground truth的问题。

r*s2016-02-19 08:02

24 楼

不可否认dnn目前并没有什么好的应用，除了搜索
但是你说的这些表明你对这玩意一无所知。。还overfit....

h*i2016-02-19 08:02

25 楼

做不到早说啊，你刚才不是说轻松搞定么？我说的scope很清楚啊，就是常识推理。
让我科普一下吧。常识推理的难点就是如何定义它。如果我知道只需要回答吃饭问题，
我直接上rule了,不用搞啥DNN。问题是我不知道什么是常识，所谓的开放世界假设。现
有的解决办法就是搞常识数据库，但再大的数据库，也不可能包括所有人觉得是常识的
东东，所以现在很多研究就是从现有数据库，用推理的办法来补全。DNN也被用来搞这
个活动，不少所谓大牛，G家的，还有Stanford的人做这个，但不是很work。

【在 r**********g 的大作中提到】

: 你这就强人所难了要直接ai complete。任何系统都有scope，也需要定义scope。你问
: 的东西不能出现在我的训练数据中，那么至少其scope要在我的训练数据中。如果你要
: 做一个万能机器人，可以理解一切回答一切，那就是做一个人了，当然做不到。
: 但是只要你给定一个scope，dnn能够比所有以前的方法做得都要好。这是我说的意思。
: 你说我不能解决ai就是傻子那我也没办法，我说的是你给我个ai问题，有商业价值的，
: 定义好的，我用dnn，你不用dnn，咱们比一比，dnn有九成把握超过你的传统方法。
: 我这么说明确了吧？咱别老跟人脑比，咱比的是程序对程序，算法对算法，模型对模型
: 。好吧？你说说，你定义的回答所有问题这件事，传统方法是啥，效果如何。

h*i2016-02-19 08:02

26 楼

这就是我说的不怎么work的工作。现在研究重点也放到了如何与其它方法结合了。
我想说的，无非是DNN只是一个工具盒里的工具，根据需要来应用。如果能有海量的
ground truth，任务也比较单一，不需要太多customization, 也没有很严格的空间性
能需求，没有malicious attack http://arxiv.org/abs/1412.1897, DNN很好。但是，符合这些条件的用例有多少？也许还能开发出一些新的用例
，但大体来看，适用范围还是很有限的。

【在 r**********g 的大作中提到】

: 是吗，Bowman 在Arxiv上那篇还可以嘛，我感觉很快就赶上来了。

h*i2016-02-19 08:02

27 楼

一个模型能够overfit这是必要条件，也就是说，这个模型必须足够灵活能涵盖这个领
域所需要的function space。然后再来谈how to deal with overfit的问题。如果连我
说的这个都没有意识到的，ML还没入门，还是纯追星族的水平。
从理论上讲，DNN能干的，一层NN也能干，无非是不知道如何训练而已。现在DNN解决了
backprogatation的一些具体实现问题，但是我们并没有得到任何理论突破。
最后，从大的方面来讲，ANN只是AI的一种办法，适用于解决某些问题，但认为ANN能解
决AI所有问题，那完全就是脑残。这个结论目前还没有任何证据表明是错的。

【在 r*****s 的大作中提到】

: 不可否认dnn目前并没有什么好的应用，除了搜索
: 但是你说的这些表明你对这玩意一无所知。。还overfit....

h*i2016-02-19 08:02

28 楼

没有强人所难，我说的就是现有技术。最简单的，参加http://www.loebner.net/Prizef/loebner-prize.html 能战胜现有的rule based bot就行。
你以为DNN能战胜那些文章，就赢了？你不要光看文章。写文章的人，能花死功夫就能
做到100%的，他肯定不会去做，为啥，发了这篇，以后还发不发文章了？所以必然会去
做看起来fancy的，每年进步个一点两点就行了。
所以dialog system，工业界全是rule based bot, 学术界全是各种fancy 的模型，结
果屁也不顶。为啥？原因就是上面我说的，目的不同。混碗饭吃，不用太认真了。你要
是信了，那是你傻。

【在 r**********g 的大作中提到】

: 你这就强人所难了要直接ai complete。任何系统都有scope，也需要定义scope。你问
: 的东西不能出现在我的训练数据中，那么至少其scope要在我的训练数据中。如果你要
: 做一个万能机器人，可以理解一切回答一切，那就是做一个人了，当然做不到。
: 但是只要你给定一个scope，dnn能够比所有以前的方法做得都要好。这是我说的意思。
: 你说我不能解决ai就是傻子那我也没办法，我说的是你给我个ai问题，有商业价值的，
: 定义好的，我用dnn，你不用dnn，咱们比一比，dnn有九成把握超过你的传统方法。
: 我这么说明确了吧？咱别老跟人脑比，咱比的是程序对程序，算法对算法，模型对模型
: 。好吧？你说说，你定义的回答所有问题这件事，传统方法是啥，效果如何。

p*m2016-02-19 08:02

29 楼

算了吧，混饭吃而已。Common Sense搞不定的，否则Push Singh也不会自杀。多大的
教授cook的P=NP，hinton的deeplearning,都造了不少混饭的机会。

r*g2016-02-19 08:02

30 楼

说实在的，你这个问题是一个连统计方法都没用上的问题，也就是说，根本没有数据集
，或者说没有找到mine出数据的方法。还停留在专家系统的初级阶段。难点在数据，不
在模型。
就比如图片auto captioning，解决数据问题以后嗖嗖的就往上彪。
你这个，要想解决，第一步还是抛弃专家系统的思维，首先从大数据入手，找到收集数
据的方法才能突破。抱残守缺没用的，我的领域搞了三十年专家系统，统计方法两年前
就beat了。genenative model 搞了十年，discriminative方法两年就beat了。
discriminative方法又过了十年，两年前开始有dnn，现在已经beat了。

【在 h*i 的大作中提到】

: 没有强人所难，我说的就是现有技术。最简单的，参加http://www.loebner.net/Prizef/loebner-prize.html 能战胜现有的rule based bot就行。
: 你以为DNN能战胜那些文章，就赢了？你不要光看文章。写文章的人，能花死功夫就能
: 做到100%的，他肯定不会去做，为啥，发了这篇，以后还发不发文章了？所以必然会去
: 做看起来fancy的，每年进步个一点两点就行了。
: 所以dialog system，工业界全是rule based bot, 学术界全是各种fancy 的模型，结
: 果屁也不顶。为啥？原因就是上面我说的，目的不同。混碗饭吃，不用太认真了。你要
: 是信了，那是你傻。

p*m2016-02-19 08:02

31 楼

dnn又不是什么新玩意，现在就是傻算，
搞什么人工智能啊，你搞一个机器狗就足够天顶星了。

【在 r**********g 的大作中提到】

: 说实在的，你这个问题是一个连统计方法都没用上的问题，也就是说，根本没有数据集
: ，或者说没有找到mine出数据的方法。还停留在专家系统的初级阶段。难点在数据，不
: 在模型。
: 就比如图片auto captioning，解决数据问题以后嗖嗖的就往上彪。
: 你这个，要想解决，第一步还是抛弃专家系统的思维，首先从大数据入手，找到收集数
: 据的方法才能突破。抱残守缺没用的，我的领域搞了三十年专家系统，统计方法两年前
: 就beat了。genenative model 搞了十年，discriminative方法两年就beat了。
: discriminative方法又过了十年，两年前开始有dnn，现在已经beat了。

h*i2016-02-19 08:02

32 楼

这位自杀的天才老兄就是搞concept net的那位吧。
还有一位认真搞dialog system的，就是搞AIML那位，也被学术界赶走了，现在在工业
界混，搞rule based bot。
看到没有，认真不得。混饭而已。

【在 p*******m 的大作中提到】

: 算了吧，混饭吃而已。Common Sense搞不定的，否则Push Singh也不会自杀。多大的
: 教授cook的P=NP，hinton的deeplearning,都造了不少混饭的机会。

p*m2016-02-19 08:02

33 楼

认真也可以啊，最后发现是个笑话，再认真只能自杀了。

【在 h*i 的大作中提到】

: 这位自杀的天才老兄就是搞concept net的那位吧。
: 还有一位认真搞dialog system的，就是搞AIML那位，也被学术界赶走了，现在在工业
: 界混，搞rule based bot。
: 看到没有，认真不得。混饭而已。

h*i2016-02-19 08:02

34 楼

在某些被混饭的教授们洗了脑的追星族的眼中，一个问题，搞不搞得定不重要，重要的
是，是不是在用the latest fashion来搞。在这些人眼中，statistics是比rule更高级
的，当然现在statistics也out了， DNN是最高级的。哈哈。
这世界连信教的都这么多，出个把追星族算个啥。
啥叫解决数据问题？不就是刷题么？没有题刷咋办？你说给你老板说，题不一样就不会
编程了，这能行么？

【在 r**********g 的大作中提到】

: 说实在的，你这个问题是一个连统计方法都没用上的问题，也就是说，根本没有数据集
: ，或者说没有找到mine出数据的方法。还停留在专家系统的初级阶段。难点在数据，不
: 在模型。
: 就比如图片auto captioning，解决数据问题以后嗖嗖的就往上彪。
: 你这个，要想解决，第一步还是抛弃专家系统的思维，首先从大数据入手，找到收集数
: 据的方法才能突破。抱残守缺没用的，我的领域搞了三十年专家系统，统计方法两年前
: 就beat了。genenative model 搞了十年，discriminative方法两年就beat了。
: discriminative方法又过了十年，两年前开始有dnn，现在已经beat了。

r*g2016-02-19 08:02

35 楼

呵呵，抱残守缺没用的，一个个专家系统都被扫进历史垃圾堆，咱们也别争这个，你不
做不代表别人不做，咱们打住，且看三年后的state of art.

【在 h*i 的大作中提到】

: 在某些被混饭的教授们洗了脑的追星族的眼中，一个问题，搞不搞得定不重要，重要的
: 是，是不是在用the latest fashion来搞。在这些人眼中，statistics是比rule更高级
: 的，当然现在statistics也out了， DNN是最高级的。哈哈。
: 这世界连信教的都这么多，出个把追星族算个啥。
: 啥叫解决数据问题？不就是刷题么？没有题刷咋办？你说给你老板说，题不一样就不会
: 编程了，这能行么？

l*z2016-02-19 08:02

36 楼

从外行看热闹的角度评论下：
说D NN是hype是因为没有被D NN虐过，大本貌似被虐过才深有感触。狗家现在很多产品
线都已经被D NN虐中或者将要被虐，前些天搜索老大退休事件就是例证之一

ground

【在 h*i 的大作中提到】

: ”同一算法解决很多不同的问题“，换个说法，其实就是overfit。尼玛上亿的参数，
: 当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
: 征，没有什么能重用的东西。
: 总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
: ，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
: truth的。不说别的，最简单的常识推理，DNN就搞不定。

r*g2016-02-19 08:02

37 楼

其实还没虐到我，但是就差一点了。按这个速度一年左右整个组都要进垃圾堆了。所以
现在全体跳船搞dnn。寇可往我亦可往。等到被扫就完蛋了。

【在 l*****z 的大作中提到】

: 从外行看热闹的角度评论下：
: 说D NN是hype是因为没有被D NN虐过，大本貌似被虐过才深有感触。狗家现在很多产品
: 线都已经被D NN虐中或者将要被虐，前些天搜索老大退休事件就是例证之一
:
: ground

h*i2016-02-19 08:02

38 楼

说是hype是因为它就是hype。这玩意原理上没有任何突破，咋就能说是突破了呢？一下
子就无所不能了呢？
所谓大牛被虐，只能说明这些所谓大牛工作的领域太简单了，现在底裤被拔下来了而已
。说明不了啥。
我说的几条DNN的适用条件，有一条不对么？有一条可以反驳么？
这就说明问题了嘛。还争什么争，又不是信教。

说D NN是hype是因为没有被D NN虐过，大本貌似被虐过才深有感触。狗家现在很多产品

【在 l*****z 的大作中提到】

: 从外行看热闹的角度评论下：
: 说D NN是hype是因为没有被D NN虐过，大本貌似被虐过才深有感触。狗家现在很多产品
: 线都已经被D NN虐中或者将要被虐，前些天搜索老大退休事件就是例证之一
:
: ground

h*i2016-02-19 08:02

39 楼

除了说明你们组就是混饭的，说明不了太多东西。

【在 r**********g 的大作中提到】

: 其实还没虐到我，但是就差一点了。按这个速度一年左右整个组都要进垃圾堆了。所以
: 现在全体跳船搞dnn。寇可往我亦可往。等到被扫就完蛋了。

h*i2016-02-19 08:02

40 楼

混饭的当然要做。latest的fashion嘛。
认真的人还是算了。

【在 r**********g 的大作中提到】

: 呵呵，抱残守缺没用的，一个个专家系统都被扫进历史垃圾堆，咱们也别争这个，你不
: 做不代表别人不做，咱们打住，且看三年后的state of art.

x*42016-02-19 08:02

41 楼

我也想搞DNN，你招人吗？

【在 r**********g 的大作中提到】

: 其实还没虐到我，但是就差一点了。按这个速度一年左右整个组都要进垃圾堆了。所以
: 现在全体跳船搞dnn。寇可往我亦可往。等到被扫就完蛋了。

l*n2016-02-19 08:02

42 楼

看来是搞speech的 hehe

【在 r**********g 的大作中提到】

: 说实在的，你这个问题是一个连统计方法都没用上的问题，也就是说，根本没有数据集
: ，或者说没有找到mine出数据的方法。还停留在专家系统的初级阶段。难点在数据，不
: 在模型。
: 就比如图片auto captioning，解决数据问题以后嗖嗖的就往上彪。
: 你这个，要想解决，第一步还是抛弃专家系统的思维，首先从大数据入手，找到收集数
: 据的方法才能突破。抱残守缺没用的，我的领域搞了三十年专家系统，统计方法两年前
: 就beat了。genenative model 搞了十年，discriminative方法两年就beat了。
: discriminative方法又过了十年，两年前开始有dnn，现在已经beat了。

h*i2016-02-19 08:02

43 楼

视觉，听觉, 这些知觉任务，不懂计算机的人都觉得很简单，因为比较而言，它就是人
能干的最简单的任务。
那下棋是不是高大上的任务？其实不是，学过认知心理学的都知道，下棋，要下得好，
其实也主要是知觉任务，就是靠记忆和识别模式，用所谓chunking的策略，一盘棋，常
人看有很多信息，记不住，训练过的棋手一看，就一点点信息，很容易全部复盘。这不
是因为棋手记忆力超群，而是对她来说，一盘棋就是几个简单模式，很容易记。所以训
练过的棋手能同时与十来个常人下，一路走过去，一盘棋喵一眼立马下子，为啥？因为
高手与常人下棋不用任何复杂推理，就是简单的模式识别。
视觉，听觉, 下棋，等等，这些简单的知觉任务，在有海量的训练数据的条件下，计算
机现在靠傻算和蛮力能解决一些了，但由此就说要skynet了，这不是瞎扯是什么？随便
翻开一本心理学101教课书，讲知觉的可能用两三章，但人的功能，在知觉以上还有那
么多，大半本书，哪一个功能AI能搞定了？
现在DNN主要是个工程领域，而不是啥高达上的理论研究。某些追星族人云亦云，没有
自己的头脑，argue from authority, lack perspective。
嗯，就酱紫。

【在 l******n 的大作中提到】

: 看来是搞speech的 hehe

d*r2016-02-19 08:02

44 楼

下棋也算是知觉? 或者说其实就是高手用熟悉了自己的优秀套路，直接套套路? 想想也
有些道理

【在 h*i 的大作中提到】

: 视觉，听觉, 这些知觉任务，不懂计算机的人都觉得很简单，因为比较而言，它就是人
: 能干的最简单的任务。
: 那下棋是不是高大上的任务？其实不是，学过认知心理学的都知道，下棋，要下得好，
: 其实也主要是知觉任务，就是靠记忆和识别模式，用所谓chunking的策略，一盘棋，常
: 人看有很多信息，记不住，训练过的棋手一看，就一点点信息，很容易全部复盘。这不
: 是因为棋手记忆力超群，而是对她来说，一盘棋就是几个简单模式，很容易记。所以训
: 练过的棋手能同时与十来个常人下，一路走过去，一盘棋喵一眼立马下子，为啥？因为
: 高手与常人下棋不用任何复杂推理，就是简单的模式识别。
: 视觉，听觉, 下棋，等等，这些简单的知觉任务，在有海量的训练数据的条件下，计算
: 机现在靠傻算和蛮力能解决一些了，但由此就说要skynet了，这不是瞎扯是什么？随便

h*i2016-02-19 08:02

45 楼

认知心理学101。讲chunking就会讲到我说的这些例子，都是经典认知心理学实验了。
学点心理学没坏处，特别是搞AI的，否则没有perspective。
话说早期搞AI的人物多多少少都有点心理学背景，现在AI的这些研究模式，ANN包括在
内，都是这些早期AI人士发明的。
现在这帮自以为是的ML人士能发明个啥？我看够呛。
有意思的一件事，是去追溯一些所谓ML大牛的学术lineage，他的phd advisor的phd
advisor是谁，一路追上去，最后看看有多少是心理系的。

【在 d*******r 的大作中提到】

: 下棋也算是知觉? 或者说其实就是高手用熟悉了自己的优秀套路，直接套套路? 想想也
: 有些道理

l*z2016-02-19 08:02

46 楼

说解决不了所有问题没错，说是hype就过了，只要能解决一类问题就有存在的价值

ground

【在 h*i 的大作中提到】

: ”同一算法解决很多不同的问题“，换个说法，其实就是overfit。尼玛上亿的参数，
: 当然啥都能fit, 但是，换个数据就都不能用了，要重新训练。学的也都是些奇怪的特
: 征，没有什么能重用的东西。
: 总的说来，现在DNN解决的都是些人本身就觉得简单的问题，比如知觉，模式识别啥的
: ，而且必须要有海量的现成的ground truth.人觉得难的问题，大多是没有现成ground
: truth的。不说别的，最简单的常识推理，DNN就搞不定。

h*i2016-02-19 08:02

47 楼

你没读上面的？这些DNN扇子是这么谦虚的么？
“没问题，哥给你轻而易举搞定”，就这态度，这不是hype是啥。

【在 l*****z 的大作中提到】

: 说解决不了所有问题没错，说是hype就过了，只要能解决一类问题就有存在的价值
:
: ground