任何一个飞速发展的漂亮女人都跟一个男大牛有亲密无间的男女关系。 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Biology - 生物学

任何一个飞速发展的漂亮女人都跟一个男大牛有亲密无间的男女关系。

任何一个飞速发展的漂亮女人都跟一个男大牛有亲密无间的男女关系。# Biology - 生物学

m*c2011-06-25 07:06

1 楼

online application 可以用的。
在这个链接刷出来的code online都不能用。https://www.chase.com/ccp/index.jsp?
pg_name=ccpmapp/shared/marketing/page/
chase_checking_021511_148559_sphr&ID=0000011861&advertId=37718
Unable to Continue
We're temporarily unable to verify your Coupon Code. Click "Proceed Without
Coupon Code" to continue, or try again later. Thanks for your patience.
哪位有Chase checking $150开户的coupon code，请站内信箱联系，5个包子奉送。
多谢。

j*a2011-06-25 07:06

2 楼

是否要按实数申报呀？如果超过报了有什么问题吗？谢谢！

G*s2011-06-25 07:06

3 楼

可喜可贺啊

s*n2011-06-25 07:06

4 楼

好像有20%off的，不知能用上不

T*x2011-06-25 07:06

5 楼

抛砖引玉。
假设有一个训练数据集，有两个feature分别为X和Y，目标值为Z。
假设XYZ都取[0,1]之间的实数。
训练目标是要得到一个函数Z=f(X,Y)以作预测之用。
最理想的解决当然是找出数量之间的物理联系，得到解析解。
其次是用回归的方法，比如线性回归，Z=aX+bY+c，
也就是要找到三个参数abc，使得训练误差最小。
使用回归的方法其实也要对数量之间的内在联系有所假设。
也因此参数较少，在这个例子中是三个参数，解空间为三维。
如果实在找不出数量之间联系的合理假设，那就用笨办法，
也可以说用最直接的办法，分片求平均，然后以平均值给分片赋值。
得到的函数是一个分片函数。分片函数和决策树是等价的。
因为分片函数在使用上就比如
先判断X是否小于0.5，再判断Y是否大于0.7，
再判断X是否大于0.4，再判断Y是否小于0.9，然后给一个值。
这正是一个决策树。
关键是如何分片，分多少片。
假设只考虑Cartesian Product分片，比如X维度上以
00这就需要(X1,X2,X3,X4,X5,Y1,Y2,Y3)八个参数。
解空间是8维，比线性回归的解空间大多了。
如果用和线性回归同样的方法找最优解，那就难多了。
那怎么找呢？
先考虑一下这个分片函数应该是什么样子才合理。
这个分片函数应该在每一个分片上训练样本的取值尽量趋同，
也就是每一片的取值的面越平越好。
或者说每一片样本方差越小越好。
怎么才能找到样本方差小的分片呢？
这个地方是xgboost的一个核心设计：分裂法。
比如现在还没有分片，那么在X维度上找一个点X1，
把XY feature空间分两半，两半各自的方差之和小于未分片之前的总方差。
小多少呢？这和X1点的选取有关。
那么有一个点可以使得这个方差变小的数量最大。
几何意义是在某一点上分两半使两边的样本面越平越好。
Y维度上也可以找这么一个点Y1。X1和Y1之间还可以比较一下，
取一个最好的点比如是X1，这就是第一步分裂。
第二步怎么办呢？还是在X维度上找X2同时在Y维度上找Y1，
使得X2是X维度上的最优分裂点，Y1是Y维度上的最优分裂点。
然后再比较X2和Y1，取一个最优点，比如是Y1，这是第二步分裂。
以此类推。
有一些regularization方面的考虑：
分片不能分太细：这个可以用分裂最大数量来限制，也就是树高。
learning rate的意义：
一整套分裂完成之后，比如找到最优的分裂序列
(X1,Y1,Y2,X2,X3,X4,Y3,X5)
之后就得到了一个分片函数。这个分片函数从得到的过程来看已经是最优了。
但是我们并不让它一步到位。而是在这个最优方向上只前进一小步。
前进多少呢？乘以这个learning rate。就前进这么多。
那这个前进一小步的函数离训练样本的实际值还有好大差距。
以这个差距为目标函数，我们再用这个分裂法来找到下一个分片函数，
然后再以learning rate前进一小步。如此继续。
为啥不让它一步到位呢？这个地方我觉得道理挺深。
我只能形象的思考一下：比如手工捶打一口铁锅，
在最优的方向上敲一锤子，敲敲打打，最后就成型了。

z*22011-06-25 07:06

6 楼

颜宁-11公
谢欣-裴刚
。
。
。
。

s*y2011-06-25 07:06

7 楼

我也在版上求了好久。
好多热心人给我提供过code，但是不知怎么，我都用不了，没一个能用的。
也是“We're temporarily unable to verify your Coupon Code”。
我怀疑是chase的系统问题。
谁有类似经历？

Without

【在 m******c 的大作中提到】

: online application 可以用的。
: 在这个链接刷出来的code online都不能用。https://www.chase.com/ccp/index.jsp?
: pg_name=ccpmapp/shared/marketing/page/
: chase_checking_021511_148559_sphr&ID=0000011861&advertId=37718
: Unable to Continue
: We're temporarily unable to verify your Coupon Code. Click "Proceed Without
: Coupon Code" to continue, or try again later. Thanks for your patience.
: 哪位有Chase checking $150开户的coupon code，请站内信箱联系，5个包子奉送。
: 多谢。

l*y2011-06-25 07:06

8 楼

如果只是1W，申报就是了，啥问题都没有

【在 j*****a 的大作中提到】

: 是否要按实数申报呀？如果超过报了有什么问题吗？谢谢！

a*u2011-06-25 07:06

9 楼

还不是因为有你

【在 G*******s 的大作中提到】

: 可喜可贺啊

N*w2011-06-25 07:06

10 楼

买上瘾了阿
干脆下 100 个的蛋

【在 s****n 的大作中提到】

: 好像有20%off的，不知能用上不

g*t2011-06-25 07:06

11 楼

你最后那段,之所以只往前走一小步，
我觉得是把一个变换T,
分解成一系列小的接近于identity的变换。类似于一层层泰勒展开求系数。
假如你一步到位把T求出来也是可以的。但是后面
肯定要把数据多次迭代，求T1,T2...

r*d2011-06-25 07:06

12 楼

有8卦吗？。。

c*b2011-06-25 07:06

13 楼

同求，

j*a2011-06-25 07:06

14 楼

谢谢回复！那超过不报行吗？

G*s2011-06-25 07:06

15 楼

跟我没关系，我在这里只是打酱油。
确切的说是讨论儒家思想的

【在 a**u 的大作中提到】

: 还不是因为有你

d*z2011-06-25 07:06

16 楼

别想了，BN的胖子只能用来买书跟DVD什么的，还有限制

T*x2011-06-25 07:06

17 楼

嗯，有道理。
你最后一段：一步到位把T求出来也行，但后面肯定要把数据多次迭代。这个地方是个
什么过程？

【在 g****t 的大作中提到】

: 你最后那段,之所以只往前走一小步，
: 我觉得是把一个变换T,
: 分解成一系列小的接近于identity的变换。类似于一层层泰勒展开求系数。
: 假如你一步到位把T求出来也是可以的。但是后面
: 肯定要把数据多次迭代，求T1,T2...

q*i2011-06-25 07:06

18 楼

我想施老师拿院士后，。。。。当清华校长后。。。。。影响太大了。。。。。中组
部看不过去的。。。。。应该不会走裴校长的后路吧。。。。。这逻辑有木有？

【在 z*******2 的大作中提到】

: 颜宁-11公
: 谢欣-裴刚
: 。
: 。
: 。
: 。

x*u2011-06-25 07:06

19 楼

我昨天刚申请了，成功了，就是用的这个链接

L*e2011-06-25 07:06

20 楼

抓不住没事。抓住没收。有无罚款不知道。

★ 发自iPhone App: ChineseWeb 7.8

【在 j*****a 的大作中提到】

: 谢谢回复！那超过不报行吗？

a*u2011-06-25 07:06

21 楼

刚才有个时间都是39人，你如果没过来，这个版就不如基板，呵呵

【在 G*******s 的大作中提到】

: 跟我没关系，我在这里只是打酱油。
: 确切的说是讨论儒家思想的

s*n2011-06-25 07:06

22 楼

靠，那信用卡会刷爆了

【在 N****w 的大作中提到】

: 买上瘾了阿
: 干脆下 100 个的蛋

g*t2011-06-25 07:06

23 楼

除了把data set分片。
多次用T的意思是：
例如你第一次对
(X,Y,1) Z用最小二乘法。预测值是Z_hat
下一步对
(X,Y,1) (Z - 上次预测误差) 用最小二乘法
或者对
(X_hat, Y,1) Z用最小二乘法
其中X_hat是反向预测
然后可以一直走下去。我给起个名字，叫做
Reflective generation regression ,你觉得这个buzz word怎么样？哈哈。这算法是
我刚发明的。
话说回来，
不管什么计算，都是一系列迭代过程找收敛。所以你找到一个计算过程，如果：
1. 知道固定点是解
2. 学习或者梯度方向正确
2. 步长合适
那我觉得都可以试验一下。

: 嗯，有道理。

: 你最后一段：一步到位把T求出来也行，但后面肯定要把数据多次迭代。
这个地
方是个

: 什么过程？

【在 T*******x 的大作中提到】

: 嗯，有道理。
: 你最后一段：一步到位把T求出来也行，但后面肯定要把数据多次迭代。这个地方是个
: 什么过程？

b*82011-06-25 07:06

24 楼

难道颜宁还没结婚吗？

m*s2011-06-25 07:06

25 楼

超过不报，当然可以。
不过没被查到就没啥大事。
被查到了，没收超过部分，并有罚金。并且记录在案，跟10年。

【在 j*****a 的大作中提到】

: 谢谢回复！那超过不报行吗？

G*s2011-06-25 07:06

26 楼

恩，我过来那边减1，这边加1，O(∩_∩)O哈哈~

【在 a**u 的大作中提到】

: 刚才有个时间都是39人，你如果没过来，这个版就不如基板，呵呵

r*t2011-06-25 07:06

27 楼

写得不错，深入浅出，给小孩或者我这样的外行看也合适。
分片函数和决策树的等价关系还是第一次读到。
关于 learning rate 的作用，你打开 xgboost paper, search for "learning rate"
唯一
一个 hit 说的很明白：
Shrinkage scales newly added weights by a factor
η after each step of tree boosting. Similar to a learning rate
in tochastic optimization, shrinkage reduces the influence of
each individual tree and leaves space for future trees to improve
the model.
当前 iteration t-th tree 使用最小二乘法来的最优解几乎一定 overfit，
所以shink, scale down 当前树的w，shrink 太多的风险是 (t+1)th tree
可能和 t-th tree 类似，那么多加一堆树就行了。shink 不够的风险则
是在这一步就过拟合了。

【在 T*******x 的大作中提到】

: 抛砖引玉。
: 假设有一个训练数据集，有两个feature分别为X和Y，目标值为Z。
: 假设XYZ都取[0,1]之间的实数。
: 训练目标是要得到一个函数Z=f(X,Y)以作预测之用。
: 最理想的解决当然是找出数量之间的物理联系，得到解析解。
: 其次是用回归的方法，比如线性回归，Z=aX+bY+c，
: 也就是要找到三个参数abc，使得训练误差最小。
: 使用回归的方法其实也要对数量之间的内在联系有所假设。
: 也因此参数较少，在这个例子中是三个参数，解空间为三维。
: 如果实在找不出数量之间联系的合理假设，那就用笨办法，

m*y2011-06-25 07:06

28 楼

颜宁早结婚了，小孩都有了，lz不用担心

j*a2011-06-25 07:06

29 楼

谢谢楼上几位的回复！

g*m2011-06-25 07:06

30 楼

要知道wisdom最高在线是1407

【在 G*******s 的大作中提到】

: 可喜可贺啊

T*x2011-06-25 07:06

31 楼

谢谢。不过我没怎么跟上你的思路。

【在 g****t 的大作中提到】

: 除了把data set分片。
: 多次用T的意思是：
: 例如你第一次对
: (X,Y,1) Z用最小二乘法。预测值是Z_hat
: 下一步对
: (X,Y,1) (Z - 上次预测误差) 用最小二乘法
: 或者对
: (X_hat, Y,1) Z用最小二乘法
: 其中X_hat是反向预测
: 然后可以一直走下去。我给起个名字，叫做

q*i2011-06-25 07:06

32 楼

就是个好学生。

【在 m***y 的大作中提到】

: 颜宁早结婚了，小孩都有了，lz不用担心

l*a2011-06-25 07:06

33 楼

老霍可以努力挑战

【在 g****m 的大作中提到】

: 要知道wisdom最高在线是1407

T*x2011-06-25 07:06

34 楼

谢谢。我也在学习。

"

【在 r****t 的大作中提到】

: 写得不错，深入浅出，给小孩或者我这样的外行看也合适。
: 分片函数和决策树的等价关系还是第一次读到。
: 关于 learning rate 的作用，你打开 xgboost paper, search for "learning rate"
: 唯一
: 一个 hit 说的很明白：
: Shrinkage scales newly added weights by a factor
: η after each step of tree boosting. Similar to a learning rate
: in tochastic optimization, shrinkage reduces the influence of
: each individual tree and leaves space for future trees to improve
: the model.

l*u2011-06-25 07:06

35 楼

这些事情在中国以外的地方也多了去了。