为什么grid search伤人品# Programming - 葵花宝典
u*a
1 楼
http://youtu.be/0jNT5cMwxw0?t=4m23s
男刺客取下面罩之后的装逼样很像杰森斯坦恩, 两人对戏有种Crank感...
男刺客取下面罩之后的装逼样很像杰森斯坦恩, 两人对戏有种Crank感...
m*n
2 楼
☆─────────────────────────────────────☆
annie77 (annie77) 于 (Fri Nov 29 09:35:52 2013, 美东) 提到:
过节了，想买款Roku看电视，哪一款好啊，有加速的作用吗？对电视有什么要求吗？
谢谢了？
☆─────────────────────────────────────☆
txbb (no) 于 (Fri Nov 29 10:09:38 2013, 美东) 提到:
基本都一样，贵的硬件更好点，但用户体验几乎没区别。
☆─────────────────────────────────────☆
FatherJoey (猪爸爸) 于 (Sun Dec 1 09:05:00 2013, 美东) 提到:
推荐Roku3，可以直接插网线，网络速度有保障
annie77 (annie77) 于 (Fri Nov 29 09:35:52 2013, 美东) 提到:
过节了，想买款Roku看电视，哪一款好啊，有加速的作用吗？对电视有什么要求吗？
谢谢了？
☆─────────────────────────────────────☆
txbb (no) 于 (Fri Nov 29 10:09:38 2013, 美东) 提到:
基本都一样，贵的硬件更好点，但用户体验几乎没区别。
☆─────────────────────────────────────☆
FatherJoey (猪爸爸) 于 (Sun Dec 1 09:05:00 2013, 美东) 提到:
推荐Roku3，可以直接插网线，网络速度有保障
w*g
3 楼
起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
一般也不能同时做到最优。所有这些方面构成一个design space。软件设
计的时候一般就是选design space的一个子空间，然后允许用户通过调整
(meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
说清（有例外，比如regularization权重一般也是希腊字母)。
Grid search的问题是，很可能就碰到了那种作者都没有想清楚的奇葩
combination，这个combination恰好在用户的某个评价标准下(比如AUC)
高了0.001，但是在别的标准下差得比较多(比如accuracy差0.01,
cross entropy差0.02，速度慢10倍，内存占用多10倍，稳定性变差）。
新手搞kaggle喜欢grid search，是因为kaggle只看一个分数。但是在
机器学习实战中，我最怕的就是准确度评价标准定错了。而且事实上评
价标准肯定和现实有超过0.001的差距。电器的额定功率一般只是最大
功率的50%。偶尔超出额定功率也没事，但是长期超出额定功率使用会
导致寿命缩短。(初中物理，别告诉我你老师没教过。）软件其实也相似，
只是参数又多，程序员又懒，额定不过来。为了某个不完全可靠的指标
的一星星点提高而不顾别的一切考虑，这个是一种非常危险的行为。
这个就是我说的伤人品。某个评价标准到了极值，本身就意味着软件
工作在某种边界状态上。根据边界效益递减原理，很可能就是有别的
某种标准做了极大的牺牲。有时候就是说不清原因，稍微把accuracy调
低一点点使用，留点余地，也未必就不是明智的做法。
CS作为一个实战学科，可以硬碰硬看分数是很多软学科所不及的。但是CS
作为一个engineering学科，还有非常重要的一点就是trade off。
当年我在北大时教体系结构的老师叫程序，天天挂在嘴边的就是
trade off，有舍才有得。你百尺竿头跟进一步accuracy得来了艰难的0.001，
又不知道自己舍了什么，难道不是一件细思恐极的事情？
比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
一般也不能同时做到最优。所有这些方面构成一个design space。软件设
计的时候一般就是选design space的一个子空间，然后允许用户通过调整
(meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
说清（有例外，比如regularization权重一般也是希腊字母)。
Grid search的问题是，很可能就碰到了那种作者都没有想清楚的奇葩
combination，这个combination恰好在用户的某个评价标准下(比如AUC)
高了0.001，但是在别的标准下差得比较多(比如accuracy差0.01,
cross entropy差0.02，速度慢10倍，内存占用多10倍，稳定性变差）。
新手搞kaggle喜欢grid search，是因为kaggle只看一个分数。但是在
机器学习实战中，我最怕的就是准确度评价标准定错了。而且事实上评
价标准肯定和现实有超过0.001的差距。电器的额定功率一般只是最大
功率的50%。偶尔超出额定功率也没事，但是长期超出额定功率使用会
导致寿命缩短。(初中物理，别告诉我你老师没教过。）软件其实也相似，
只是参数又多，程序员又懒，额定不过来。为了某个不完全可靠的指标
的一星星点提高而不顾别的一切考虑，这个是一种非常危险的行为。
这个就是我说的伤人品。某个评价标准到了极值，本身就意味着软件
工作在某种边界状态上。根据边界效益递减原理，很可能就是有别的
某种标准做了极大的牺牲。有时候就是说不清原因，稍微把accuracy调
低一点点使用，留点余地，也未必就不是明智的做法。
CS作为一个实战学科，可以硬碰硬看分数是很多软学科所不及的。但是CS
作为一个engineering学科，还有非常重要的一点就是trade off。
当年我在北大时教体系结构的老师叫程序，天天挂在嘴边的就是
trade off，有舍才有得。你百尺竿头跟进一步accuracy得来了艰难的0.001，
又不知道自己舍了什么，难道不是一件细思恐极的事情？
h*n
4 楼
Amy Smart 长得很像精灵
【在 u******a 的大作中提到】
: http://youtu.be/0jNT5cMwxw0?t=4m23s
: 男刺客取下面罩之后的装逼样很像杰森斯坦恩, 两人对戏有种Crank感...
【在 u******a 的大作中提到】
: http://youtu.be/0jNT5cMwxw0?t=4m23s
: 男刺客取下面罩之后的装逼样很像杰森斯坦恩, 两人对戏有种Crank感...
g*t
5 楼
说的很好。
这些知识，一般情况下，open source的代码是不会包括的。
这就跟电路一样，图纸都给你，调试是机密。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
这些知识，一般情况下，open source的代码是不会包括的。
这就跟电路一样，图纸都给你，调试是机密。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
l*m
6 楼
现在的时髦的是learn to learn, 整个RNN, RL 啥的去调。我觉得也悬
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
m*r
7 楼
受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了？ 只不
过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎么办？
要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民科看来
性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture, 满足一
下好奇心。
过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎么办？
要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民科看来
性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture, 满足一
下好奇心。
r*g
8 楼
我碰到过12个参数精简到3个正交参数。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
g*t
9 楼
Big picture有Carmer-rao等不等式。类似于海森堡不等式。
: 受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了？
只不
: 过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎
么办？
: 要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民
科看来
: 性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture,
满足一
: 下好奇心。
【在 m******r 的大作中提到】
: 受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了？ 只不
: 过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎么办？
: 要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民科看来
: 性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture, 满足一
: 下好奇心。
: 受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了？
只不
: 过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎
么办？
: 要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民
科看来
: 性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture,
满足一
: 下好奇心。
【在 m******r 的大作中提到】
: 受教了。 其实我们民科真不是自己想做栅格搜索,业余玩玩还拿鸡毛当令箭了？ 只不
: 过书上网上到处都写栅格搜索，或者直接写阿尔法等于一，五，八，你说让人怎么办？
: 要是谁写个搜索策略，没人愿意把机器开一个晚上，烧坏了怎么办 ？ 在我们民科看来
: 性能差个1%，2% up to 3%,根本没区别。 我们想知道的无非是个big picture, 满足一
: 下好奇心。
c*v
10 楼
本站没有精华区功能了，有没什么办法？
各位怎么看？
以前其他不少人的精华贴找起来也很麻烦。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
各位怎么看？
以前其他不少人的精华贴找起来也很麻烦。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
d*t
11 楼
这个观点在variance-bias tradeoff之类统计课里经常讲，月月讲，算常识了吧。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
【在 w***g 的大作中提到】
: 起个主贴把则个问题讲讲透。一般来说不可能写出一个各方面全优的算法。
: 比如速度，占用内存，精度一般不能同时做到最优。精度有各种评价方法，
: 一般也不能同时做到最优。所有这些方面构成一个design space。软件设
: 计的时候一般就是选design space的一个子空间，然后允许用户通过调整
: (meta)参数来微调子空间中的位置。这个子空间的形状一般不是规则的，
: 参数一般也不是正交的。参数之间的各种关系可能连作者本人都未必想清
: 楚了。比如有时候程序写着写着会出来一个可以加参数的位置，然后就
: 出来一个参数。而且这种参数往往很多，一般会被命名为alpha,beta,
: gamma,delta,eta,lambda等等，因为含义作者也没法用一两个英文字母
: 说清（有例外，比如regularization权重一般也是希腊字母)。
c*v
12 楼
常识健全的人可不容易找
common sense NOT == common practice
【在 d*****t 的大作中提到】
: 这个观点在variance-bias tradeoff之类统计课里经常讲，月月讲，算常识了吧。
common sense NOT == common practice
【在 d*****t 的大作中提到】
: 这个观点在variance-bias tradeoff之类统计课里经常讲，月月讲，算常识了吧。
m*r
13 楼
还真看不明白怎么就'常识'了。 契比雪夫不等式对有的人看，就是个'常识'； 证明就
写了五行字；对有的人，像我这样民科的，就不是常识。 我常常想，契比雪夫不等式
对契比雪夫自己，是不是个常识？ 是常识吧，可人家这么几行字写了几十年，不是常
识吧，毕竟人家第一个想出来的。
【在 c*******v 的大作中提到】
: 常识健全的人可不容易找
: common sense NOT == common practice
写了五行字；对有的人，像我这样民科的，就不是常识。 我常常想，契比雪夫不等式
对契比雪夫自己，是不是个常识？ 是常识吧，可人家这么几行字写了几十年，不是常
识吧，毕竟人家第一个想出来的。
【在 c*******v 的大作中提到】
: 常识健全的人可不容易找
: common sense NOT == common practice
w*g
14 楼
王垠也是写常识啊，写成网红了。我这是向他学习。不是常识的东西我也写不出来。
【在 d*****t 的大作中提到】
: 这个观点在variance-bias tradeoff之类统计课里经常讲，月月讲，算常识了吧。
【在 d*****t 的大作中提到】
: 这个观点在variance-bias tradeoff之类统计课里经常讲，月月讲，算常识了吧。
m*r
15 楼
你写的这些很有干货。写成blogg肯定红
【在 w***g 的大作中提到】
: 王垠也是写常识啊，写成网红了。我这是向他学习。不是常识的东西我也写不出来。
【在 w***g 的大作中提到】
: 王垠也是写常识啊，写成网红了。我这是向他学习。不是常识的东西我也写不出来。
N*m
16 楼
卫东你的态度也符合常识，这点最好。
【在 w***g 的大作中提到】
: 王垠也是写常识啊，写成网红了。我这是向他学习。不是常识的东西我也写不出来。
【在 w***g 的大作中提到】
: 王垠也是写常识啊，写成网红了。我这是向他学习。不是常识的东西我也写不出来。
相关阅读
王垠说的没错 (转载)看完Great learning来看 doctrine of Mean我总结下吧竟然已经学会了reactjs和angular js 2.cost a cloud来收钱了人性不是一成不变的雷军的启蒙教材hci, Clojure有类似windows COM那种东西吗？[bssd]被领导训了一顿Game over了,兄弟们ｃｎｎ大牛们，这种特征如何提取呢？请问搭建一个类似IBM I2或者palantir的分析平台需要多少人?搞 Clojure 的几位怎么看 is Clojure dying 这个近期梗[bssd]18年前，我当过哲学版主...National Artificial Intelligence R&D Strategic Plan大牛们有人玩apache beam吗现在AI有赚钱的方式吗人不能看得太清，不然就邪恶至极。[bssd] Formal structure of AI beings (1)转发个关于演化论的讨论楼