simple question: adaboost vs Support Vector Machine, which# Programming - 葵花宝典
n*g
1 楼
which one is the best traditional machine learning algorithm?
which one is more revolutionary?
which one is more revolutionary?
w*g
2 楼
in terms of practical problem solving, I would say SVM is better.
In theory, the idea behind boosting, i.e. weak learner vs strong
learner, is a fundamental advancement in machine learning theory,
probably of philosophical importance. SVM itself is more technical,
but the theory that remotely backs SVM, i.e. VC theory, is even
more fundamental and more important than boosting. However,
the trivial version of SVM, i.e. linear SVM, has gained so much
attention lately that people view SVM more often simply as "large margin"
regression, rather than dimension reduction with support vectors
as is the original intention of SVM. Both algorithms are flawed
in a similar way in practice: both are meta-algorithms that rely
on a user-defined plug-in: Boosting requires a decision stump,
and SVM requires a kernel. Neither theory provides any insight
on how the plugin must be designed.
Both are revolutionary in its own way. But if we limit to the
algorithms and do not generalize to as much as VC theory, I would
say boosting is more revolutionary. If I have to pick one
from the two to solve a problem, I would pick SVM for its performance.
着两个算法背后的大神, Robert Schapire和Vladimir Vapnik都在Princeton.
后者在NEC lab, 据说有一阵子年年申请Princeton大学的职位年年被毙, 大概是
因为学校觉得他不可能做出更大的成就了. 据他自己说是因为他是俄国人被歧视
了. Robert Schapire每年都在系里卖她女儿的童子军饼干. 这哥们开一门理论
机器学习的课, 有一年我还被拉去做他的助教. 这课就是推一个学期的公式,
最后some how证明SVM和boosting在他的框架下其实是一回事.
在 nostring (尼) 的大作中提到: 】
In theory, the idea behind boosting, i.e. weak learner vs strong
learner, is a fundamental advancement in machine learning theory,
probably of philosophical importance. SVM itself is more technical,
but the theory that remotely backs SVM, i.e. VC theory, is even
more fundamental and more important than boosting. However,
the trivial version of SVM, i.e. linear SVM, has gained so much
attention lately that people view SVM more often simply as "large margin"
regression, rather than dimension reduction with support vectors
as is the original intention of SVM. Both algorithms are flawed
in a similar way in practice: both are meta-algorithms that rely
on a user-defined plug-in: Boosting requires a decision stump,
and SVM requires a kernel. Neither theory provides any insight
on how the plugin must be designed.
Both are revolutionary in its own way. But if we limit to the
algorithms and do not generalize to as much as VC theory, I would
say boosting is more revolutionary. If I have to pick one
from the two to solve a problem, I would pick SVM for its performance.
着两个算法背后的大神, Robert Schapire和Vladimir Vapnik都在Princeton.
后者在NEC lab, 据说有一阵子年年申请Princeton大学的职位年年被毙, 大概是
因为学校觉得他不可能做出更大的成就了. 据他自己说是因为他是俄国人被歧视
了. Robert Schapire每年都在系里卖她女儿的童子军饼干. 这哥们开一门理论
机器学习的课, 有一年我还被拉去做他的助教. 这课就是推一个学期的公式,
最后some how证明SVM和boosting在他的框架下其实是一回事.
在 nostring (尼) 的大作中提到: 】
w*g
3 楼
算法的重要性并不完全是由背后的理论决定的, 而是由一两个
application breakthrough决定的. 比如说, Naive Bayesian
对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
理解去解释它们的牛B程度, 很多事情是没法解释的.
【在 n******g 的大作中提到】
: which one is the best traditional machine learning algorithm?
: which one is more revolutionary?
application breakthrough决定的. 比如说, Naive Bayesian
对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
理解去解释它们的牛B程度, 很多事情是没法解释的.
【在 n******g 的大作中提到】
: which one is the best traditional machine learning algorithm?
: which one is more revolutionary?
c*e
4 楼
wdong 果然牛人，奠定了编程版的权威！
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
w*g
5 楼
我是老刑的自干五而已, 应该是我同学中混得最差的.
【在 c*****e 的大作中提到】
: wdong 果然牛人，奠定了编程版的权威！
【在 c*****e 的大作中提到】
: wdong 果然牛人，奠定了编程版的权威！
g*t
6 楼
说的很好。
也聊几点个人浅见吧：
(1)
算法其实就两种，一种是用梯度的，一种是不用梯度的。
前者是微积分，后者是组合数学。理论上能说的，我觉得就是这个程度了。
所以理论是分辨不出来，或者说很难分辨什么算法好，什么算法坏的。
很多学界算法的creator,因为是理论驱动，自己都不信自己的算法有啥用。
然后被工程师tweak之后赚钱了，才红起来。这些算法的风范,style和思考方法
反而比算法本身更值得学习。
因为这些算法的成功其实是很偶然的，或者是
瞎蒙的。但是这些creator的风格和品位，那是真的。坚持好的风格或者品味，
我猜迟早会成功。
理论本身不对理论做价值判断。换句话说，理论的value,是理论之外的
课题。
(2)
以理论为基础考虑出来的算法，是不是被认可，是看:
a.人类社会流行什么实践场景。
b.人类对自然界的探索到哪一步。
例如荣格库塔解ODE,在当时是完全没人搭理,完全不被认可的。
以实践为基础的算法，是看是不是满足客户的要求。
例如开发一套做电影的系统，可以得奥斯卡科技奖。
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
也聊几点个人浅见吧：
(1)
算法其实就两种，一种是用梯度的，一种是不用梯度的。
前者是微积分，后者是组合数学。理论上能说的，我觉得就是这个程度了。
所以理论是分辨不出来，或者说很难分辨什么算法好，什么算法坏的。
很多学界算法的creator,因为是理论驱动，自己都不信自己的算法有啥用。
然后被工程师tweak之后赚钱了，才红起来。这些算法的风范,style和思考方法
反而比算法本身更值得学习。
因为这些算法的成功其实是很偶然的，或者是
瞎蒙的。但是这些creator的风格和品位，那是真的。坚持好的风格或者品味，
我猜迟早会成功。
理论本身不对理论做价值判断。换句话说，理论的value,是理论之外的
课题。
(2)
以理论为基础考虑出来的算法，是不是被认可，是看:
a.人类社会流行什么实践场景。
b.人类对自然界的探索到哪一步。
例如荣格库塔解ODE,在当时是完全没人搭理,完全不被认可的。
以实践为基础的算法，是看是不是满足客户的要求。
例如开发一套做电影的系统，可以得奥斯卡科技奖。
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
n*g
7 楼
谢谢！一句顶一万句，我明白了。原来machine learning看重“管用”不；
而不是“为什么管用“。
naive Bayes 也许恰好模拟了垃圾邮件的模型？不然砸解释这个简单分类器
那么好用？
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
而不是“为什么管用“。
naive Bayes 也许恰好模拟了垃圾邮件的模型？不然砸解释这个简单分类器
那么好用？
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
g*t
8 楼
算法框架有延伸性，容易学，合理,容易用。
这样就容易有人拿着你的算法到处去试验。这样价值被发现的机会
可以大很多。
这就好比理论物理的理论，如果理论本身毛病多，
做实验的人就不会搭理你。
【在 n******g 的大作中提到】
: 谢谢！一句顶一万句，我明白了。原来machine learning看重“管用”不；
: 而不是“为什么管用“。
: naive Bayes 也许恰好模拟了垃圾邮件的模型？不然砸解释这个简单分类器
: 那么好用？
这样就容易有人拿着你的算法到处去试验。这样价值被发现的机会
可以大很多。
这就好比理论物理的理论，如果理论本身毛病多，
做实验的人就不会搭理你。
【在 n******g 的大作中提到】
: 谢谢！一句顶一万句，我明白了。原来machine learning看重“管用”不；
: 而不是“为什么管用“。
: naive Bayes 也许恰好模拟了垃圾邮件的模型？不然砸解释这个简单分类器
: 那么好用？
k*i
9 楼
所以，ML/NN的现实目标之一应该是寻求某些“大”算法解决某些“大”类实际问题，
例如CNN之于图像分类等。用极少数算法解决绝大多数问题至今仍然没有让人信服的理
论或实验基础。
王垠有段很浅显的话，尽管太绝对了，也还是有一定道理的。
"比如，你采集到一些二维数据点。你猜测它们符合一个简单的函数 y = ax3 + bx2 +
cx + d，但不知道a, b, c和d该是多少。于是你就利用所谓“机器学习”（也就是数学
统计），推断出参数a, b, c和d的值，使得采集到的数据尽可能的靠近这函数的曲线。
可是这函数是怎么来的呢？终究还是人想出来的。机器无论如何也跳不出y = ax3 +
bx2 + cx + d这个框子。如果数据不符合这个范式，还是只有靠人，才能找到更加符合
数据特性的函数。"
http://www.yinwang.org/blog-cn/2016/03/09/alpha-go
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
例如CNN之于图像分类等。用极少数算法解决绝大多数问题至今仍然没有让人信服的理
论或实验基础。
王垠有段很浅显的话，尽管太绝对了，也还是有一定道理的。
"比如，你采集到一些二维数据点。你猜测它们符合一个简单的函数 y = ax3 + bx2 +
cx + d，但不知道a, b, c和d该是多少。于是你就利用所谓“机器学习”（也就是数学
统计），推断出参数a, b, c和d的值，使得采集到的数据尽可能的靠近这函数的曲线。
可是这函数是怎么来的呢？终究还是人想出来的。机器无论如何也跳不出y = ax3 +
bx2 + cx + d这个框子。如果数据不符合这个范式，还是只有靠人，才能找到更加符合
数据特性的函数。"
http://www.yinwang.org/blog-cn/2016/03/09/alpha-go
【在 w***g 的大作中提到】
: 算法的重要性并不完全是由背后的理论决定的, 而是由一两个
: application breakthrough决定的. 比如说, Naive Bayesian
: 对于垃圾邮件分类, boosting对于人脸识别, 隐马尔科夫模型
: 对于语音识别, 等等. 历史上每个重要应用都造就了一个牛B算
: 法, 而不是相反. 如果没理解这一点, 而用今天对这些算法的
: 理解去解释它们的牛B程度, 很多事情是没法解释的.
相关阅读
Help: how to use Eclipse as C++ IDE in Linux? (转载)请教c++里面怎么measure running time那里可以下载？那个排a1,a2,...b1,b2成a1,b1,a2,b2...的叫什么名字？请教： 用stable_sort 在VC++下通过但在g++下通不过Help: how to use Eclipse as C++ IDE in XP?如何循环播放一个mp3文件中的某一段?符号%在FORTRAN 中是什么意思？what's the system call for get file num of a dir?C++如何pass一个变量给一个函数，但是函数声明却没有这个变量？需要更好的论坛搜索吗？Microsoft Visual Studio Expression edition 是万全free的吗?is MAX_INT standard macro for getting max_int in C++请教关于Java认证array allocation in cwhich is faster, table look up or bitwise operator?TTS现在什么引擎最好？键盘上的这几个特殊符号念啥？？？[合集] 一个数据结构问题求教Python GUI 用什么最好？