L*8
2 楼
按照这个文章
https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
直接设计一堆template 然后组装起来 不就行了
https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
直接设计一堆template 然后组装起来 不就行了
L*8
3 楼
http://yosinski.com/deepvis
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
a*y
4 楼
HMAX就是这么想的，结果十几年了还是没搞成气候
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
w*g
5 楼
是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
deep learning的template matching就是内积+threshold, 可以认为是最最最土的
template matching. 传统的template matching算法往往比这个复杂, 而且也更
robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
那个或许能匹配上. 以上不是关键.
deep learning牛x的地方是能够训练这些template, 而且是:
1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
(注意不是全剧最优解. 不管是全局问题还是局部问题, 往往都得不到最优解.
但是全局次优解也比一堆局部次优解拼起来强.)
2. 能够对着最终的measurement of sucess做discriminative training.
很多传统方法依赖于建模. 比如目标是X, 然后科学家拍脑子想象, 如果优化了Y
应该也能优化X, 然后对着Y去优化. 科学家拍脑子这个往往在理论上正确, 但是
实际上会有缺陷. 一般科学家的方法往往是现实问题的简化版, 只能处理90%的
情况. 如果有好多步, 每一步都只有90%, 那最终结果肯定不会太好.
比如deep learning之前的主流算法SIFT + spatial pyramid + SVM, 其实
也是一个多层算法:
1 SIFT: 这个本身可以看成一个三层网络. 只不过所有参数都是算法写死的.
不能train.
2. k-means clustering算visual word: 这一步是sparse coding, 有几个
cluster就有几个模版. 这个模版是根据clustering目标算出来的, 跟最终
accuracy没有直接关系.
3. spatial pyramid + SVM: 这个才是discriminative training. 但是到
这一步, 很多可能有用的原始图像信息已经被前两步干掉了.
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
deep learning的template matching就是内积+threshold, 可以认为是最最最土的
template matching. 传统的template matching算法往往比这个复杂, 而且也更
robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
那个或许能匹配上. 以上不是关键.
deep learning牛x的地方是能够训练这些template, 而且是:
1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
(注意不是全剧最优解. 不管是全局问题还是局部问题, 往往都得不到最优解.
但是全局次优解也比一堆局部次优解拼起来强.)
2. 能够对着最终的measurement of sucess做discriminative training.
很多传统方法依赖于建模. 比如目标是X, 然后科学家拍脑子想象, 如果优化了Y
应该也能优化X, 然后对着Y去优化. 科学家拍脑子这个往往在理论上正确, 但是
实际上会有缺陷. 一般科学家的方法往往是现实问题的简化版, 只能处理90%的
情况. 如果有好多步, 每一步都只有90%, 那最终结果肯定不会太好.
比如deep learning之前的主流算法SIFT + spatial pyramid + SVM, 其实
也是一个多层算法:
1 SIFT: 这个本身可以看成一个三层网络. 只不过所有参数都是算法写死的.
不能train.
2. k-means clustering算visual word: 这一步是sparse coding, 有几个
cluster就有几个模版. 这个模版是根据clustering目标算出来的, 跟最终
accuracy没有直接关系.
3. spatial pyramid + SVM: 这个才是discriminative training. 但是到
这一步, 很多可能有用的原始图像信息已经被前两步干掉了.
【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了
c*9
6 楼
这个讲的清楚。
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
k*f
7 楼
最近流行的resnet，实在是太有用了，可以train很多层的网络，deep learning这种暴
力使用gpu算东西，还是非常强大的，
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
力使用gpu算东西，还是非常强大的，
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
r*y
8 楼
一锅子训练的论文是哪篇？看初级教材没看到这个。
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
matching.
【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
w*g
9 楼
没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
如果直接就是学的CNN, 可能觉得事情本来就应该这样.
上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
【在 r******y 的大作中提到】
: 一锅子训练的论文是哪篇？看初级教材没看到这个。
:
: matching.
如果直接就是学的CNN, 可能觉得事情本来就应该这样.
上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
【在 r******y 的大作中提到】
: 一锅子训练的论文是哪篇？看初级教材没看到这个。
:
: matching.
c*9
10 楼
cnn看起来很直观，不知道为什么出来这么晚。
【在 w***g 的大作中提到】
: 没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
: 如果直接就是学的CNN, 可能觉得事情本来就应该这样.
: 上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
【在 w***g 的大作中提到】
: 没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
: 如果直接就是学的CNN, 可能觉得事情本来就应该这样.
: 上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.
w*g
11 楼
LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
只不过在之前的数据量和硬件上发挥不出威力.
搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
这一波其实是重新包装了一下而已, 理论没多大发展.
【在 c*******9 的大作中提到】
: cnn看起来很直观，不知道为什么出来这么晚。
这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
只不过在之前的数据量和硬件上发挥不出威力.
搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
这一波其实是重新包装了一下而已, 理论没多大发展.
【在 c*******9 的大作中提到】
: cnn看起来很直观，不知道为什么出来这么晚。
L*8
12 楼
CNN 最近被打脸了 pia pia的
http://www.evolvingai.org/fooling
【在 w***g 的大作中提到】
: LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
: 这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
: 所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
: 训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
: 只不过在之前的数据量和硬件上发挥不出威力.
: 搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
: 这一波其实是重新包装了一下而已, 理论没多大发展.
http://www.evolvingai.org/fooling
【在 w***g 的大作中提到】
: LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
: 这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
: 所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
: 训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
: 只不过在之前的数据量和硬件上发挥不出威力.
: 搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
: 这一波其实是重新包装了一下而已, 理论没多大发展.
w*g
13 楼
这有啥奇怪的. 这么大的参数空间, 可不就随便找碴吗.
machine learning最基本的假设: testing data和training data
从同样的概率分布采样. 如果这条假设不能保证, 任何
machine learning都无从谈起.
【在 L****8 的大作中提到】
: CNN 最近被打脸了 pia pia的
: http://www.evolvingai.org/fooling
machine learning最基本的假设: testing data和training data
从同样的概率分布采样. 如果这条假设不能保证, 任何
machine learning都无从谈起.
【在 L****8 的大作中提到】
: CNN 最近被打脸了 pia pia的
: http://www.evolvingai.org/fooling
相关阅读
谁有numerical recipe in Fortran啊mysql index优化求助请问这个是录制屏幕的软件叫什么名字？请教一个rpcgen的问题Looking for a PHP programmer这里谁能轻易突破别人的银行账户登陆C++如何做thermal system优化问题？我自己的程序怎么加上每次build的时间戳？ (转载)pdf 阅读时能自动翻译鼠标所指的英文单词吗？请问怎样才能在Excel中才能做出这个统计图? (转载)Excel VBA中mode 函数求助问个矩阵作为参数, C programming的问题最近就没点有水平的面试题?请教如何修正这个C程序的bug。C++ 下载版本求助：帮忙修复一个损坏的文本文件，有包子c考题这个C#是为了啥？web crawler?大家推荐一本新手用的学Visual C＃的书啊？？