Colah 关于 neural network 的一篇博客 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

Colah 关于 neural network 的一篇博客

Colah 关于 neural network 的一篇博客# DataSciences - 数据科学

m*t2015-04-29 07:04

1 楼

colah.github.io/posts/2014-03-NN-Manifolds-Topology
不知道大家看过没有。我觉得写的非常直观，而且指出了很有意思的一些问题（比如 2
同心维圆环不可能用只有2个 hidden node 的 neural network 来彻底区分）。这些
问题也让人思考 neural network 的 robustness。

s*h2015-04-29 07:04

2 楼

这个人不算有名吧？好像是google deep learning group的一个新人。
他的blog我昨天看过几篇，写得挺通俗易懂的。
昨天看完后，我还贴了那个关于同人小说网站的blog，觉得比较搞笑。
另外一个新知道的是tSNE，08年提出的一个高维数据低维显示的算法。简单易用。

m*t2015-04-29 07:04

3 楼

不，他名气不大，不过他对这个领域的热情和理解问题的方式非常有意思。他那篇博客
让人考虑这样的问题：就是如果我们根本用错了方法选错了 feature 即使 error 很低
也不能说明问题。
我感觉们经常把每一个 feature/pixel 当作欧式空间的一个维度来处理其实是非常
cruel 的。kaggle 上那个 galaxy classification 的访谈里那人:
http://blog.kaggle.com/2014/04/18/winning-the-galaxy-challenge-
自己说的
“My best single model had 7 layers and about 42 million parameters. Of
course it was overfitting significantly, but despite that it still achieved
the best score on the validation set”
听了就觉得胃痛，总觉得哪里感觉不太对。想象一下这些图片里本身描述的拓扑结构的
维度。。。
t-SNE 很好阿，准备拿来用 minst 自己看看。

【在 s****h 的大作中提到】

: 这个人不算有名吧？好像是google deep learning group的一个新人。
: 他的blog我昨天看过几篇，写得挺通俗易懂的。
: 昨天看完后，我还贴了那个关于同人小说网站的blog，觉得比较搞笑。
: 另外一个新知道的是tSNE，08年提出的一个高维数据低维显示的算法。简单易用。

l*m2015-04-29 07:04

4 楼

he meant delta of training and test error was large in terms of over fitting
. it does not hurt generalization of the model

achieved

【在 m*********t 的大作中提到】

: 不，他名气不大，不过他对这个领域的热情和理解问题的方式非常有意思。他那篇博客
: 让人考虑这样的问题：就是如果我们根本用错了方法选错了 feature 即使 error 很低
: 也不能说明问题。
: 我感觉们经常把每一个 feature/pixel 当作欧式空间的一个维度来处理其实是非常
: cruel 的。kaggle 上那个 galaxy classification 的访谈里那人:
: http://blog.kaggle.com/2014/04/18/winning-the-galaxy-challenge-
: 自己说的
: “My best single model had 7 layers and about 42 million parameters. Of
: course it was overfitting significantly, but despite that it still achieved
: the best score on the validation set”

m*t2015-04-29 07:04

5 楼

这个我知道阿。我只是觉得当我们用了几十万个参数之后，真的知道那个 network 里
面发生了什么吗？
http://arxiv.org/abs/1312.6199

fitting

【在 l*******m 的大作中提到】

: he meant delta of training and test error was large in terms of over fitting
: . it does not hurt generalization of the model
:
: achieved

d*c2015-04-29 07:04

6 楼

有的人就认为不需要知道吧。kaggle的很多竞赛里给的数据，不告诉你feature是什么
意义，就是些值，就没打算让你去理解。
大概他们认为数据足够多就行了，什么问题都可以解决，大数据 > 聪明算法

【在 m*********t 的大作中提到】

: 这个我知道阿。我只是觉得当我们用了几十万个参数之后，真的知道那个 network 里
: 面发生了什么吗？
: http://arxiv.org/abs/1312.6199
:
: fitting