聊两句wdong的内功总纲 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

聊两句wdong的内功总纲

聊两句wdong的内功总纲# Programming - 葵花宝典

j*72017-01-09 08:01

1 楼

3.875% 5 year ARM. The total cost is less than $1700.
I am very happy with the rate because the loan amount is 70K, so small
that a lot of lender want to charge a lot of fees.
Btw, I really like my lender. I have worked with them couple times. If
anyone in Chicago area is interested, send me a message.

a*02017-01-09 08:01

2 楼

前几年的热播电视剧里，海龟基本都是高富帅。现在的电视剧里，开始不怎么样了。
这个反映了社会通俗流行的看法变迁吧。

g*t2017-01-09 08:01

3 楼

wdong又拿了干货出来，首先表示感谢.
http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
我聊几句个人计算经验。请批评指导。
1.降维
数学模型的降维有个通用方法是找对称性。
一个微分方程有5个未知数，假如你找到一个对称性，
使得f（x1,x2,x3,x4,x5）=0
那么就变成4维了。
例如手写体识别数字。
最简单的，如果图形在某个拉伸之后是单位圆，
那就是0。不然则不是。这就把0，1，2，3，。。。9
的维度降低了1维。
其他几个数字也有自己的拓扑对称性可以做。
但是这个依赖于domain knowledge。我觉得domain knowledge
就是对这些对称性，或者首次积分，或者先验知识的insight
例如物理系统第一个首次积分就是能量守恒。
2.梯度
梯度对结果有正贡献与否，我觉得就是凑上的。
统计梯度是Robinns发明的，他的文章只证明了单变量情形。
多变量情形，什么情况都有。
只能说是art of engineering。
人类对随机矩阵和随机几何了解的还非常少。
哪怕是最简单的3变量线性系统，根据输入输出用梯度来学习这个系统的参数，
那也可以是非常不靠谱的。
所以还是数据越多越好。算法就是靠天吃饭。

s*g2017-01-09 08:01

4 楼

cong

s*r2017-01-09 08:01

5 楼

啥时候是高富帅，基本都是拿来开涮的
前两年，牛莉演过一个电视剧，也是和一个巨搞笑的海归相亲

m*r2017-01-09 08:01

6 楼

太牛逼了，觉得把机器学习小江湖的黑话都给翻译成人话了。
wdong不当个特级教师可惜了。
机器学习这个小圈子近年来我一直都很有意见。明明是一群人在学习，非要打着机器
学习的幌子卖弄着江湖黑话。
闹得谁也听不懂。

b*k2017-01-09 08:01

7 楼

can you share the lender's contact information?
I am looking for a lender in Chicago now.

【在 j******7 的大作中提到】

: 3.875% 5 year ARM. The total cost is less than $1700.
: I am very happy with the rate because the loan amount is 70K, so small
: that a lot of lender want to charge a lot of fees.
: Btw, I really like my lender. I have worked with them couple times. If
: anyone in Chicago area is interested, send me a message.

a*02017-01-09 08:01

8 楼

两年前不够早，五年前，七，八年前。

【在 s*****r 的大作中提到】

: 啥时候是高富帅，基本都是拿来开涮的
: 前两年，牛莉演过一个电视剧，也是和一个巨搞笑的海归相亲

g*t2017-01-09 08:01

9 楼

wdong不如找个地方写本书。定价500刀。哥先买10本。

【在 m******r 的大作中提到】

: 太牛逼了，觉得把机器学习小江湖的黑话都给翻译成人话了。
: wdong不当个特级教师可惜了。
: 机器学习这个小圈子近年来我一直都很有意见。明明是一群人在学习，非要打着机器
: 学习的幌子卖弄着江湖黑话。
: 闹得谁也听不懂。

s*r2017-01-09 08:01

10 楼

刚看到画家是涂老大，一出场就笑死俺了，这部电视剧的阵容真是强大。

【在 a*****0 的大作中提到】

:
: 两年前不够早，五年前，七，八年前。

e*o2017-01-09 08:01

11 楼

我竟然也看懂了一些。
下山法(SGD) 这个翻译够土，够厉害。
我也觉得wdong 去大学教教书是最合适的。

【在 m******r 的大作中提到】

v*a2017-01-09 08:01

12 楼

图老大是哪个演员？还演过什么？

【在 s*****r 的大作中提到】

: 刚看到画家是涂老大，一出场就笑死俺了，这部电视剧的阵容真是强大。

w*g2017-01-09 08:01

13 楼

这个帖子我本来是在本版原创的，然后转到我自己的
blog上。原帖在本版被删了。
下山法这个翻译似乎有问题。
牛顿下山法和梯度法似乎不是同一种东西。
这个我胡吹的。

【在 e*******o 的大作中提到】

: 我竟然也看懂了一些。
: 下山法(SGD) 这个翻译够土，够厉害。
: 我也觉得wdong 去大学教教书是最合适的。

s*l2017-01-09 08:01

14 楼

七、八年前就已经开始开涮了。

【在 a*****0 的大作中提到】

:
: 两年前不够早，五年前，七，八年前。

w*g2017-01-09 08:01

15 楼

你这个是物理学家的做法，找到一个不变量/对称性，
就能提取一个维度。现在之所以大家喜欢deep learning，
因为希望能通过无脑拟合解决问题，而不需要用人脑去
分析研究问题的本质。目前的做法显然有很大的局限性。
你随便写个数学公式产生个图形，分形那种，
神经网络就是算死了也拟合不出来。
现在吹得好像神经网络无所不能，其实远没有那么厉害。

【在 g****t 的大作中提到】

: wdong又拿了干货出来，首先表示感谢.
: http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
: 我聊几句个人计算经验。请批评指导。
: 1.降维
: 数学模型的降维有个通用方法是找对称性。
: 一个微分方程有5个未知数，假如你找到一个对称性，
: 使得f（x1,x2,x3,x4,x5）=0
: 那么就变成4维了。
: 例如手写体识别数字。
: 最简单的，如果图形在某个拉伸之后是单位圆，

v*a2017-01-09 08:01

16 楼

恨有笑无，不然怎么找平衡

【在 s****l 的大作中提到】

: 七、八年前就已经开始开涮了。

s*o2017-01-09 08:01

17 楼

wdong的星宿派到底是干什么的？

s*l2017-01-09 08:01

18 楼

所以大家回国都得低调点，从这些电视剧还是很能看出国内人的态度的。

【在 v******a 的大作中提到】

: 恨有笑无，不然怎么找平衡

m*r2017-01-09 08:01

19 楼

通俗地讲，就是姥姥不疼舅舅不爱那种的。
咦我个外行都看明白了你怎么看不懂？

【在 s***o 的大作中提到】

: wdong的星宿派到底是干什么的？

s*y2017-01-09 08:01

20 楼

在大陆电视剧里海龟从来都是拿来涮的，就是各种脑残，找抽，有病的集合体
而且都是败给土屌丝
除了这部，你往前翻，《大女当嫁》《北京青年》

。

【在 a*****0 的大作中提到】

: 前几年的热播电视剧里，海龟基本都是高富帅。现在的电视剧里，开始不怎么样了。
: 这个反映了社会通俗流行的看法变迁吧。

l*m2017-01-09 08:01

21 楼

写书也要做市场。今天我去出版社网站上看了一眼我的书，才卖了100多本worldwide.
肯定不用报税了

【在 g****t 的大作中提到】

: wdong不如找个地方写本书。定价500刀。哥先买10本。

w*r2017-01-09 08:01

22 楼

涂松岩，演过《双面胶》，《双城生活》什么的。

【在 v******a 的大作中提到】

: 图老大是哪个演员？还演过什么？

g*t2017-01-09 08:01

23 楼

(1)
在计算机领域，我认为universal turing machine
就是能量守恒一样的基本对称性。
universal turing machine进去一个turing machine
，出来是一样的，所以就是守恒量或者基本对称性。
这是所有图灵完备的程序的集合的性质。
一定有固定点
(2)
任何计算机语言，只要出不了fixed point combinator/universal turing machine
这个圈。不可能和现实中其他具有本质不同的对称性的东西对上号。
因为两个系统有不同的固定点，本质上是没办法全方位拟合的。
只能看看是不是有时候能互相接近。这算是演绎性质而非经验性质的对
无脑拟合的否定。
必须要加domain knowledge赋予的对称性.
要么就是足够的数据蕴含了对数据集的定义. 那需要数据集的信噪比很高。
(3)
我还有另一个结论。如果一个计算系统例如神经网。
对一种数据集效果好，应该可以造出来另一套数据集，效果不好。
但这个先要构造神经网自己的domain specific固定点。
learn the xxx learning itself。我怀疑理论方向下一步应该是
fixed point of learning.
有了这个，就可以有universal deep learning network.

【在 w***g 的大作中提到】

: 你这个是物理学家的做法，找到一个不变量/对称性，
: 就能提取一个维度。现在之所以大家喜欢deep learning，
: 因为希望能通过无脑拟合解决问题，而不需要用人脑去
: 分析研究问题的本质。目前的做法显然有很大的局限性。
: 你随便写个数学公式产生个图形，分形那种，
: 神经网络就是算死了也拟合不出来。
: 现在吹得好像神经网络无所不能，其实远没有那么厉害。

j*u2017-01-09 08:01

24 楼

东北一家人，演王沪生那个演员演了个IT WSN。还有去了加拿大的怂货金老二。。。

g*t2017-01-09 08:01

25 楼

你这不错了。我以前在学校跟老板合写的书，都是开会时候白送的.
白送都没人要...
话说你写的哪方面的书？
现在机器学习大热。写书应该不愁卖。

.

【在 l*******m 的大作中提到】

: 写书也要做市场。今天我去出版社网站上看了一眼我的书，才卖了100多本worldwide.
: 肯定不用报税了

t*o2017-01-09 08:01

26 楼

国内现在盛行打脸，海归是打脸的好对象啊
曾经的高富帅,政治上的弱势群体，不好好打脸怎么出心中这口恶气啊
呵呵

a*g2017-01-09 08:01

27 楼

ｇｏｏｄ

【在 g****t 的大作中提到】

v*a2017-01-09 08:01

28 楼

都木看过

【在 w********r 的大作中提到】

: 涂松岩，演过《双面胶》，《双城生活》什么的。

c*e2017-01-09 08:01

29 楼

好。就等wdong在github上的开源代码了。

【在 g****t 的大作中提到】

l*s2017-01-09 08:01

30 楼

1不就是自由度吗？为啥叫对称性呢？

【在 g****t 的大作中提到】

s*o2017-01-09 08:01

31 楼

这样啊，我还以为要把C++当化功大法来练呢
刚看到HERE Chicago还在招人（http://www.mitbbs.com/article_t/JobHunting/33207879.html），wdong不想去试试？

【在 m******r 的大作中提到】

: 通俗地讲，就是姥姥不疼舅舅不爱那种的。
: 咦我个外行都看明白了你怎么看不懂？