[bssd] 讨论一点参数调节的浅见 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

[bssd] 讨论一点参数调节的浅见

[bssd] 讨论一点参数调节的浅见# Programming - 葵花宝典

t*o2018-03-23 07:03

1 楼

boa，或者wachovia可以汇钱到加拿大的Bank of Montreal 吗？
他们也接受美元？
或者能否寄一张美元的check给他，能否存，有没有手续费？

r*a2018-03-23 07:03

2 楼

看完就忘的那种
很多电影听不清听不懂啊只能明白个大概听力真是糟糕怎么办？

c*v2018-03-23 07:03

3 楼

以前是wdong告诉我有adam的办法。我看了下步骤感觉这个办法很牛。
因为它
a。符合我的经验和物理直觉。
b。计算效率高
在前面自动驾驶一个讨论里。我提到，
（I）如果要消除oscillation，
一般就是减小步长。
adam 算法可以看作这个idea的量化实现。我以前根据这个idea做过
自适应算法，所以看了adam算法第一感觉就是这是老师傅设计的。
如果认为一个训练的目标是梯度最后为0。
那么梯度的振荡大，自然要减少步长。
最简单的办法就是统计前面一段时间梯度振幅。这种统计可以各种
办法做。指数移动平均对内存和速度来说是首选。这就是我理解的
adam算法的原理：前段时间振幅大，就把步长减小。
如果你认为idea （I）是有道理的。也可以实现别的类似优化算法。
有可能更准，更高效。例如你求过去200 iterations，梯度平方的top 25%的平均。
这个用来来代替移动平均。
这是一个方向。另一个方向，最小二乘法求解b=Ax的解是inv（A’A）×A

t*o2018-03-23 07:03

4 楼

up

【在 t*******o 的大作中提到】

: boa，或者wachovia可以汇钱到加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？

D*S2018-03-23 07:03

5 楼

没办法,多看呗,平时电视多看,广播多听,报纸多读,各种咨询都要涉猎. 这个不是几天
能解决的了.

c*v2018-03-23 07:03

6 楼

老刑这个垃圾站。写的后半节如何扩展Adam
居然没了
有两个办法。一者是统计梯度的互相关。为避免计算量大，可以只选top 25%的梯度算
一下。adam的平方部分适用于海赛阵的对角元素。那么稍微填一些别的元素。二者是找
高阶统计。Adam of Adam 类似于牛顿法的推广。三者是如果振荡大，可以同一个mini
batch有选择的重复几次当输入。

w*x2018-03-23 07:03

7 楼

Most Canadian Banks do accept American checks. This mean you can deposit a
US Dollar check into a Canadian Dollar account.
CIBC and Bank of Montreal do not charge any free. I don't know if other
banks charge a fee on it. Most probably not.
But it may take up to 30 days to clear. Usually it's cleared in two weeks at
Bank of Montreal.
By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
the banks.

【在 t*******o 的大作中提到】

: boa，或者wachovia可以汇钱到加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？

D*S2018-03-23 07:03

8 楼

再说电影里动不动都有些历史掌故的东西,不是本土长大的,基本不会马上心领神会的,
就算你能听懂字面.这个真无法强求了.

t*o2018-03-23 07:03

9 楼

thanks very much. then I think the best way is to mail the check to my
friend in canada,right ?

at

【在 w****x 的大作中提到】

: Most Canadian Banks do accept American checks. This mean you can deposit a
: US Dollar check into a Canadian Dollar account.
: CIBC and Bank of Montreal do not charge any free. I don't know if other
: banks charge a fee on it. Most probably not.
: But it may take up to 30 days to clear. Usually it's cleared in two weeks at
: Bank of Montreal.
: By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
: the banks.