为什么要知道DETAILS OF A MACHINE LEARNING ALGORITHM - 未名空间MITBBS历史存档

为什么要知道DETAILS OF A MACHINE LEARNING ALGORITHM# DataSciences - 数据科学

w*q2014-12-23 08:12

1 楼

拓展海外市场诚招海外兼职销售
外贸公司招聘销售代理数名，主要通过一些电子商务平台发布产品销售，现在诚聘一
些在国外的朋友合作，对方的主要工作就是利用业余时间在电子商务平台中刊登图片和
资料
回复客户邮件。
具体怎样操作.我们详谈
联系方式：
QQ：740012446
MSN：c*************[email protected]
E-mail：c*************[email protected]

m*o2014-12-23 08:12

2 楼

我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
了，为什么要知道具体的东西？
我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
请问我该怎么回答这个问题?

l*n2014-12-23 08:12

3 楼

这个学生比你明白
如果你不研究回字的四种写法，会用回字就可以啦，比如“xxx，回家吃饭“

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

m*o2014-12-23 08:12

4 楼

问题是，不教这些教什么？ ADREW NG 的课是本科？这些本科生需要知道这么详细的
算法干什么？

【在 l******n 的大作中提到】

: 这个学生比你明白
: 如果你不研究回字的四种写法，会用回字就可以啦，比如“xxx，回家吃饭“

d*e2014-12-23 08:12

5 楼

这要看你教什么课啊？
本科或者硕士水平的，完全不需要知道怎么解啊，能知道优化问题是凸的就不错了。
要是PhD Level的，应该没有学生蠢到问这个问题。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

g*o2014-12-23 08:12

6 楼

let it be
这个学生会问这种问题, 估计还没入门

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

r*d2014-12-23 08:12

7 楼

这个说不清的。。即使有一些经验都不好说。。囧。。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

l*n2014-12-23 08:12

8 楼

多点应用的
授人以渔就好，至于怎么造渔具那就不是每个人都能做的了

【在 m**o 的大作中提到】

: 问题是，不教这些教什么？ ADREW NG 的课是本科？这些本科生需要知道这么详细的
: 算法干什么？

p*r2014-12-23 08:12

9 楼

关键这些统计算法结果的解释主观性很大，只把结果 run 出来不去解释跟什么都没做
一样。而解释结果需要很广泛的背景。

c*t2014-12-23 08:12

10 楼

这个赞

【在 p***r 的大作中提到】

: 关键这些统计算法结果的解释主观性很大，只把结果 run 出来不去解释跟什么都没做
: 一样。而解释结果需要很广泛的背景。

l*m2014-12-23 08:12

11 楼

调参数，选择preprocessing, 还是要了解的吧

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

c*h2014-12-23 08:12

12 楼

遇到不work的时候好知道是自己笨还是写package的人笨

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

h*32014-12-23 08:12

13 楼

我们现在招做machine learning的学生，基本上都要问到SVM的objective function是
怎么写的。然后如何去optimize这个constrained optimization problem。还有hinge
loss不是smooth的话，实际的svm算法是怎么处理的？优化的时候怎么选择step size等
等。这些知识在CS的machine learning或者data mining里面都会讲，不过是个课堂小
quiz而已。
如果只是知道个大概，几乎所有的面试candidate都知道，那我为什么不招个懂得跟深
入，自己实现过svm的人来做呢？这个行业门槛太低，随涨船高的趋势是很明显的。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

d*e2014-12-23 08:12

14 楼

直接在requirement里写上需要懂一些凸优化不就行了。
你说的这几个问题，Machine Learning课未必就讲，但学了基本的凸优化都能答上。
不少学校的ML课程都喜欢讲Graphical Models和Bayesian Inference，真未必就把SVM
讲得多仔细。

hinge

【在 h********3 的大作中提到】

: 我们现在招做machine learning的学生，基本上都要问到SVM的objective function是
: 怎么写的。然后如何去optimize这个constrained optimization problem。还有hinge
: loss不是smooth的话，实际的svm算法是怎么处理的？优化的时候怎么选择step size等
: 等。这些知识在CS的machine learning或者data mining里面都会讲，不过是个课堂小
: quiz而已。
: 如果只是知道个大概，几乎所有的面试candidate都知道，那我为什么不招个懂得跟深
: 入，自己实现过svm的人来做呢？这个行业门槛太低，随涨船高的趋势是很明显的。

h*32014-12-23 08:12

15 楼

我们最主要的是想招自己实现过算法的学生，而不是只是用耳朵听的学生。优化理论的
东西不存在门派之分，都是很基本很实用的知识。
Graphical Models和Bayesian的东西，都是很新的东西，还牵涉到bayesian和
frequentist门派之分，面试的时候不适合问。现在连统计系科班教材都还是传统的
frequentist，接触bayesian的大部分都只是这个领域的研究生和博士生。以前我们还
专门给生物，化学系的老师们做过bayesian inference的讲座。实际上很多人还不见得
接受这一派的东西。

SVM

【在 d******e 的大作中提到】

: 直接在requirement里写上需要懂一些凸优化不就行了。
: 你说的这几个问题，Machine Learning课未必就讲，但学了基本的凸优化都能答上。
: 不少学校的ML课程都喜欢讲Graphical Models和Bayesian Inference，真未必就把SVM
: 讲得多仔细。
:
: hinge

w*22014-12-23 08:12

16 楼

最好要知道算法具体的细节，这样面对陌生的data set，学生会根据不同的情况应用不
同的算法。

l*g2014-12-23 08:12

17 楼

你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
machine learning 的标志
但是处理超大数据时候我没见过哪个公司用 SVM
比如google 花了无数的精力在系统层解决处理logistic regression with billions
of features
你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
machine learning 划等号了
换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

【在 h********3 的大作中提到】

: 我们最主要的是想招自己实现过算法的学生，而不是只是用耳朵听的学生。优化理论的
: 东西不存在门派之分，都是很基本很实用的知识。
: Graphical Models和Bayesian的东西，都是很新的东西，还牵涉到bayesian和
: frequentist门派之分，面试的时候不适合问。现在连统计系科班教材都还是传统的
: frequentist，接触bayesian的大部分都只是这个领域的研究生和博士生。以前我们还
: 专门给生物，化学系的老师们做过bayesian inference的讲座。实际上很多人还不见得
: 接受这一派的东西。
:
: SVM

l*g2014-12-23 08:12

18 楼

知道 details of a ML algorithm 是必须的
因为 ML 不像一般的程序，错了就崩溃了
ML 搞错了只会给你个不符合原来预期的结果，如果你不懂原理，你甚至都不知道该
有什么样的预期
更何况很多场所还是需要自己制造/发明新ML工具，尤其是涉及到 distributed
learning
但是我很不同意楼上的言ML必懂SVM细节之类的
聪明人做什么问题自然会把需要的技能捡起来
我周围有些同事以前都是搞算法理论的phd，没学过ML, 现在搞 ML 照样也能提出很犀
利的见解

h*32014-12-23 08:12

19 楼

我们也更多用logistic regression。楼主的原帖就是问svm的details。svm在这里只是
一个例子。当然你如果知道其他算法的details，我们也是欢迎的。

【在 l****g 的大作中提到】

: 你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
: machine learning 的标志
: 但是处理超大数据时候我没见过哪个公司用 SVM
: 比如google 花了无数的精力在系统层解决处理logistic regression with billions
: of features
: 你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
: machine learning 划等号了
: 换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

d*e2014-12-23 08:12

20 楼

从优化上说，用了Squared Hinge Loss SVM和Logistic Regression已经非常接近了。
至于用不用SVM，全看公司的喜好。

【在 l****g 的大作中提到】

: 你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
: machine learning 的标志
: 但是处理超大数据时候我没见过哪个公司用 SVM
: 比如google 花了无数的精力在系统层解决处理logistic regression with billions
: of features
: 你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
: machine learning 划等号了
: 换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

p*i2014-12-23 08:12

21 楼

svm是个很值得学的算法，从学术角度来说非常有价值，不过限制也很多，实际业界应
用确实很罕见，我在Amazon和Facebook的ML team都呆过，svm都谈不上是主流算法吧～
个人感觉logistic最简单实用，tree based model最万金油，真要搞fancy的东西还是
要deep learning和neural network

g*o2014-12-23 08:12

22 楼

不知道为什么, 觉得svm好像是各种码农自学ml里介绍最多的..

【在 p*******i 的大作中提到】

: svm是个很值得学的算法，从学术角度来说非常有价值，不过限制也很多，实际业界应
: 用确实很罕见，我在Amazon和Facebook的ML team都呆过，svm都谈不上是主流算法吧～
: 个人感觉logistic最简单实用，tree based model最万金油，真要搞fancy的东西还是
: 要deep learning和neural network

A*s2014-12-23 08:12

23 楼

我觉得比较好的授课方法是分层次，第一层是应用，第二层是算法的直观解释，第三层
是数学细节。告诉学生每层的差异和考试的覆盖面，让有兴趣有能力的学生学第三层就
好了，确实没必要每个人都需要明白这些细节。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

T*u2014-12-23 08:12

24 楼

b/c you can only learn by reinventing the wheels.

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

h*32014-12-23 08:12

25 楼

搞文本处理的人几乎清一色地用svm。

【在 g*****o 的大作中提到】

: 不知道为什么, 觉得svm好像是各种码农自学ml里介绍最多的..

h*u2014-12-23 08:12

26 楼

楼上能不能具体说说svm的限制呢？2类分类？对参数和kernel敏感？

d*e2014-12-23 08:12

27 楼

如果是Hinge Loss的SVM，训练比较慢。概率解释比较tricky，没有Logistic
Regression那么Natural。
至于参数和Kernel之类的不是SVM的问题，是所有用Regularization的方法都有的问题
。Kernel参数就更是了。
至于多类也不怕，Multiclass的Hinge Loss多种多样，不是大问题。

【在 h*******u 的大作中提到】

: 楼上能不能具体说说svm的限制呢？2类分类？对参数和kernel敏感？

h*32014-12-23 08:12

28 楼

没错。libsvm都是用squared hinge loss。实际数据上，squared hinge loss和hinge
loss, logistic loss基本上没神马差别。

【在 d******e 的大作中提到】

: 如果是Hinge Loss的SVM，训练比较慢。概率解释比较tricky，没有Logistic
: Regression那么Natural。
: 至于参数和Kernel之类的不是SVM的问题，是所有用Regularization的方法都有的问题
: 。Kernel参数就更是了。
: 至于多类也不怕，Multiclass的Hinge Loss多种多样，不是大问题。

d*e2014-12-23 08:12

29 楼

LIBSVM解的是Hinge Loss，没有平方。解的是Lagrangian Dual Formulation，用的
Coordinate Descent。
LIBLINEAR才是用了Square Hinge Loss。解的是Conjugate Dual Formulation，用的也
是Coordinate Descent。

hinge
问题

【在 h********3 的大作中提到】

: 没错。libsvm都是用squared hinge loss。实际数据上，squared hinge loss和hinge
: loss, logistic loss基本上没神马差别。

h*32014-12-23 08:12

30 楼

liblinear提供了primal上解的实现。

【在 d******e 的大作中提到】

: LIBSVM解的是Hinge Loss，没有平方。解的是Lagrangian Dual Formulation，用的
: Coordinate Descent。
: LIBLINEAR才是用了Square Hinge Loss。解的是Conjugate Dual Formulation，用的也
: 是Coordinate Descent。
:
: hinge
: 问题

l*m2014-12-23 08:12

31 楼

liblinear dual, primal 都有

【在 h********3 的大作中提到】

: liblinear提供了primal上解的实现。

d*e2014-12-23 08:12

32 楼

没记错的话，LIBLINEAR提供的Primal Solver非常有限，可能仅能用在Square Hinge/
Logistic Loss + Ridge Regularization上。主要还是用Dual Coordinate Ascent。

【在 h********3 的大作中提到】

: liblinear提供了primal上解的实现。

d*e2014-12-23 08:12

33 楼

查了一下，的确都有。

【在 l*******m 的大作中提到】

: liblinear dual, primal 都有

m*o2014-12-23 08:12

34 楼

我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
了，为什么要知道具体的东西？
我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
请问我该怎么回答这个问题?

l*n2014-12-23 08:12

35 楼

这个学生比你明白
如果你不研究回字的四种写法，会用回字就可以啦，比如“xxx，回家吃饭“

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

m*o2014-12-23 08:12

36 楼

问题是，不教这些教什么？ ADREW NG 的课是本科？这些本科生需要知道这么详细的
算法干什么？

【在 l******n 的大作中提到】

: 这个学生比你明白
: 如果你不研究回字的四种写法，会用回字就可以啦，比如“xxx，回家吃饭“

d*e2014-12-23 08:12

37 楼

这要看你教什么课啊？
本科或者硕士水平的，完全不需要知道怎么解啊，能知道优化问题是凸的就不错了。
要是PhD Level的，应该没有学生蠢到问这个问题。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

g*o2014-12-23 08:12

38 楼

let it be
这个学生会问这种问题, 估计还没入门

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

r*d2014-12-23 08:12

39 楼

这个说不清的。。即使有一些经验都不好说。。囧。。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

l*n2014-12-23 08:12

40 楼

多点应用的
授人以渔就好，至于怎么造渔具那就不是每个人都能做的了

【在 m**o 的大作中提到】

: 问题是，不教这些教什么？ ADREW NG 的课是本科？这些本科生需要知道这么详细的
: 算法干什么？

p*r2014-12-23 08:12

41 楼

关键这些统计算法结果的解释主观性很大，只把结果 run 出来不去解释跟什么都没做
一样。而解释结果需要很广泛的背景。

c*t2014-12-23 08:12

42 楼

这个赞

【在 p***r 的大作中提到】

: 关键这些统计算法结果的解释主观性很大，只把结果 run 出来不去解释跟什么都没做
: 一样。而解释结果需要很广泛的背景。

l*m2014-12-23 08:12

43 楼

调参数，选择preprocessing, 还是要了解的吧

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

c*h2014-12-23 08:12

44 楼

遇到不work的时候好知道是自己笨还是写package的人笨

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

h*32014-12-23 08:12

45 楼

我们现在招做machine learning的学生，基本上都要问到SVM的objective function是
怎么写的。然后如何去optimize这个constrained optimization problem。还有hinge
loss不是smooth的话，实际的svm算法是怎么处理的？优化的时候怎么选择step size等
等。这些知识在CS的machine learning或者data mining里面都会讲，不过是个课堂小
quiz而已。
如果只是知道个大概，几乎所有的面试candidate都知道，那我为什么不招个懂得跟深
入，自己实现过svm的人来做呢？这个行业门槛太低，随涨船高的趋势是很明显的。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

d*e2014-12-23 08:12

46 楼

直接在requirement里写上需要懂一些凸优化不就行了。
你说的这几个问题，Machine Learning课未必就讲，但学了基本的凸优化都能答上。
不少学校的ML课程都喜欢讲Graphical Models和Bayesian Inference，真未必就把SVM
讲得多仔细。

hinge

【在 h********3 的大作中提到】

: 我们现在招做machine learning的学生，基本上都要问到SVM的objective function是
: 怎么写的。然后如何去optimize这个constrained optimization problem。还有hinge
: loss不是smooth的话，实际的svm算法是怎么处理的？优化的时候怎么选择step size等
: 等。这些知识在CS的machine learning或者data mining里面都会讲，不过是个课堂小
: quiz而已。
: 如果只是知道个大概，几乎所有的面试candidate都知道，那我为什么不招个懂得跟深
: 入，自己实现过svm的人来做呢？这个行业门槛太低，随涨船高的趋势是很明显的。

h*32014-12-23 08:12

47 楼

我们最主要的是想招自己实现过算法的学生，而不是只是用耳朵听的学生。优化理论的
东西不存在门派之分，都是很基本很实用的知识。
Graphical Models和Bayesian的东西，都是很新的东西，还牵涉到bayesian和
frequentist门派之分，面试的时候不适合问。现在连统计系科班教材都还是传统的
frequentist，接触bayesian的大部分都只是这个领域的研究生和博士生。以前我们还
专门给生物，化学系的老师们做过bayesian inference的讲座。实际上很多人还不见得
接受这一派的东西。

SVM

【在 d******e 的大作中提到】

: 直接在requirement里写上需要懂一些凸优化不就行了。
: 你说的这几个问题，Machine Learning课未必就讲，但学了基本的凸优化都能答上。
: 不少学校的ML课程都喜欢讲Graphical Models和Bayesian Inference，真未必就把SVM
: 讲得多仔细。
:
: hinge

w*22014-12-23 08:12

48 楼

最好要知道算法具体的细节，这样面对陌生的data set，学生会根据不同的情况应用不
同的算法。

l*g2014-12-23 08:12

49 楼

你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
machine learning 的标志
但是处理超大数据时候我没见过哪个公司用 SVM
比如google 花了无数的精力在系统层解决处理logistic regression with billions
of features
你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
machine learning 划等号了
换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

【在 h********3 的大作中提到】

: 我们最主要的是想招自己实现过算法的学生，而不是只是用耳朵听的学生。优化理论的
: 东西不存在门派之分，都是很基本很实用的知识。
: Graphical Models和Bayesian的东西，都是很新的东西，还牵涉到bayesian和
: frequentist门派之分，面试的时候不适合问。现在连统计系科班教材都还是传统的
: frequentist，接触bayesian的大部分都只是这个领域的研究生和博士生。以前我们还
: 专门给生物，化学系的老师们做过bayesian inference的讲座。实际上很多人还不见得
: 接受这一派的东西。
:
: SVM

l*g2014-12-23 08:12

50 楼

知道 details of a ML algorithm 是必须的
因为 ML 不像一般的程序，错了就崩溃了
ML 搞错了只会给你个不符合原来预期的结果，如果你不懂原理，你甚至都不知道该
有什么样的预期
更何况很多场所还是需要自己制造/发明新ML工具，尤其是涉及到 distributed
learning
但是我很不同意楼上的言ML必懂SVM细节之类的
聪明人做什么问题自然会把需要的技能捡起来
我周围有些同事以前都是搞算法理论的phd，没学过ML, 现在搞 ML 照样也能提出很犀
利的见解

h*32014-12-23 08:12

51 楼

我们也更多用logistic regression。楼主的原帖就是问svm的details。svm在这里只是
一个例子。当然你如果知道其他算法的details，我们也是欢迎的。

【在 l****g 的大作中提到】

: 你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
: machine learning 的标志
: 但是处理超大数据时候我没见过哪个公司用 SVM
: 比如google 花了无数的精力在系统层解决处理logistic regression with billions
: of features
: 你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
: machine learning 划等号了
: 换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

d*e2014-12-23 08:12

52 楼

从优化上说，用了Squared Hinge Loss SVM和Logistic Regression已经非常接近了。
至于用不用SVM，全看公司的喜好。

【在 l****g 的大作中提到】

: 你招的只是按照你理解的 machine learning 的那一小块然后你就 claim 说这就是懂
: machine learning 的标志
: 但是处理超大数据时候我没见过哪个公司用 SVM
: 比如google 花了无数的精力在系统层解决处理logistic regression with billions
: of features
: 你可以说你们的数据比较小，不需要, 但是我不觉得你这些问题怎么就跟 "懂"
: machine learning 划等号了
: 换个角度说，你拒绝了其他背景/经验可能带来的多样性观点

p*i2014-12-23 08:12

53 楼

svm是个很值得学的算法，从学术角度来说非常有价值，不过限制也很多，实际业界应
用确实很罕见，我在Amazon和Facebook的ML team都呆过，svm都谈不上是主流算法吧～
个人感觉logistic最简单实用，tree based model最万金油，真要搞fancy的东西还是
要deep learning和neural network

g*o2014-12-23 08:12

54 楼

不知道为什么, 觉得svm好像是各种码农自学ml里介绍最多的..

【在 p*******i 的大作中提到】

: svm是个很值得学的算法，从学术角度来说非常有价值，不过限制也很多，实际业界应
: 用确实很罕见，我在Amazon和Facebook的ML team都呆过，svm都谈不上是主流算法吧～
: 个人感觉logistic最简单实用，tree based model最万金油，真要搞fancy的东西还是
: 要deep learning和neural network

A*s2014-12-23 08:12

55 楼

我觉得比较好的授课方法是分层次，第一层是应用，第二层是算法的直观解释，第三层
是数学细节。告诉学生每层的差异和考试的覆盖面，让有兴趣有能力的学生学第三层就
好了，确实没必要每个人都需要明白这些细节。

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

T*u2014-12-23 08:12

56 楼

b/c you can only learn by reinventing the wheels.

【在 m**o 的大作中提到】

: 我现在教学生，譬如SVM，会具体描述算法，但学生有这个困惑，我会用PACKAGE 就行
: 了，为什么要知道具体的东西？
: 我过去在工业届的确需要自己写和改进一些ALGORITHMS。但对于大部分的学生而言，的
: 确好象没有必要知道。只要会写CODE 和用现成的PACKAGE 就行了。
: 请问我该怎么回答这个问题?

h*32014-12-23 08:12

57 楼

搞文本处理的人几乎清一色地用svm。

【在 g*****o 的大作中提到】

: 不知道为什么, 觉得svm好像是各种码农自学ml里介绍最多的..

h*u2014-12-23 08:12

58 楼

楼上能不能具体说说svm的限制呢？2类分类？对参数和kernel敏感？

d*e2014-12-23 08:12

59 楼

如果是Hinge Loss的SVM，训练比较慢。概率解释比较tricky，没有Logistic
Regression那么Natural。
至于参数和Kernel之类的不是SVM的问题，是所有用Regularization的方法都有的问题
。Kernel参数就更是了。
至于多类也不怕，Multiclass的Hinge Loss多种多样，不是大问题。

【在 h*******u 的大作中提到】

: 楼上能不能具体说说svm的限制呢？2类分类？对参数和kernel敏感？

h*32014-12-23 08:12

60 楼

没错。libsvm都是用squared hinge loss。实际数据上，squared hinge loss和hinge
loss, logistic loss基本上没神马差别。

【在 d******e 的大作中提到】

: 如果是Hinge Loss的SVM，训练比较慢。概率解释比较tricky，没有Logistic
: Regression那么Natural。
: 至于参数和Kernel之类的不是SVM的问题，是所有用Regularization的方法都有的问题
: 。Kernel参数就更是了。
: 至于多类也不怕，Multiclass的Hinge Loss多种多样，不是大问题。

d*e2014-12-23 08:12

61 楼

LIBSVM解的是Hinge Loss，没有平方。解的是Lagrangian Dual Formulation，用的
Coordinate Descent。
LIBLINEAR才是用了Square Hinge Loss。解的是Conjugate Dual Formulation，用的也
是Coordinate Descent。

hinge
问题

【在 h********3 的大作中提到】

: 没错。libsvm都是用squared hinge loss。实际数据上，squared hinge loss和hinge
: loss, logistic loss基本上没神马差别。

h*32014-12-23 08:12

62 楼

liblinear提供了primal上解的实现。

【在 d******e 的大作中提到】

: LIBSVM解的是Hinge Loss，没有平方。解的是Lagrangian Dual Formulation，用的
: Coordinate Descent。
: LIBLINEAR才是用了Square Hinge Loss。解的是Conjugate Dual Formulation，用的也
: 是Coordinate Descent。
:
: hinge
: 问题

l*m2014-12-23 08:12

63 楼

liblinear dual, primal 都有

【在 h********3 的大作中提到】

: liblinear提供了primal上解的实现。

d*e2014-12-23 08:12

64 楼

没记错的话，LIBLINEAR提供的Primal Solver非常有限，可能仅能用在Square Hinge/
Logistic Loss + Ridge Regularization上。主要还是用Dual Coordinate Ascent。

【在 h********3 的大作中提到】

: liblinear提供了primal上解的实现。

d*e2014-12-23 08:12

65 楼

查了一下，的确都有。

【在 l*******m 的大作中提到】

: liblinear dual, primal 都有

l*s2014-12-23 08:12

66 楼

搞文本处理的科班出身的用的最多的其实是MaxEnt

【在 h********3 的大作中提到】

: 搞文本处理的人几乎清一色地用svm。