[bssd] 讨论一点参数调节的浅见# Programming - 葵花宝典
t*o
1 楼
boa，或者wachovia可以汇钱到 加拿大的Bank of Montreal 吗？
他们也接受美元？
或者能否寄一张美元的check给他，能否存，有没有手续费？
他们也接受美元？
或者能否寄一张美元的check给他，能否存，有没有手续费？
r*a
2 楼
看完就忘的那种
很多电影 听不清 听不懂啊 只能明白个大概 听力真是糟糕 怎么办？
很多电影 听不清 听不懂啊 只能明白个大概 听力真是糟糕 怎么办？
c*v
3 楼
以前是wdong告诉我有adam的办法。我看了下步骤感觉这个办法很牛。
因为它
a。符合我的经验和物理直觉。
b。计算效率高
在前面自动驾驶一个讨论里。我提到，
（I）如果要消除oscillation，
一般就是减小步长。
adam 算法可以看作这个idea的量化实现。我以前根据这个idea做过
自适应算法，所以看了adam算法第一感觉就是这是老师傅设计的。
如果认为一个训练的目标是梯度最后为0。
那么梯度的振荡大，自然要减少步长。
最简单的办法就是统计前面一段时间梯度振幅。这种统计可以各种
办法做。指数移动平均对内存和速度来说是首选。这就是我理解的
adam算法的原理：前段时间振幅大，就把步长减小。
如果你认为idea （I）是有道理的。也可以实现别的类似优化算法。
有可能更准，更高效。例如你求过去200 iterations，梯度平方的top 25%的平均。
这个用来来代替移动平均。
这是一个方向。另一个方向，最小二乘法求解b=Ax的解是inv（A’A）×A
因为它
a。符合我的经验和物理直觉。
b。计算效率高
在前面自动驾驶一个讨论里。我提到，
（I）如果要消除oscillation，
一般就是减小步长。
adam 算法可以看作这个idea的量化实现。我以前根据这个idea做过
自适应算法，所以看了adam算法第一感觉就是这是老师傅设计的。
如果认为一个训练的目标是梯度最后为0。
那么梯度的振荡大，自然要减少步长。
最简单的办法就是统计前面一段时间梯度振幅。这种统计可以各种
办法做。指数移动平均对内存和速度来说是首选。这就是我理解的
adam算法的原理：前段时间振幅大，就把步长减小。
如果你认为idea （I）是有道理的。也可以实现别的类似优化算法。
有可能更准，更高效。例如你求过去200 iterations，梯度平方的top 25%的平均。
这个用来来代替移动平均。
这是一个方向。另一个方向，最小二乘法求解b=Ax的解是inv（A’A）×A
t*o
4 楼
up
【在 t*******o 的大作中提到】
: boa，或者wachovia可以汇钱到 加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？
【在 t*******o 的大作中提到】
: boa，或者wachovia可以汇钱到 加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？
D*S
5 楼
没办法,多看呗,平时电视多看,广播多听,报纸多读,各种咨询都要涉猎. 这个不是几天
能解决的了.
能解决的了.
c*v
6 楼
老刑这个垃圾站。写的后半节如何扩展Adam
居然没了
有两个办法。一者是统计梯度的互相关。为避免计算量大，可以只选top 25%的梯度算
一下。adam的平方部分适用于海赛阵的对角元素。那么稍微填一些别的元素。二者是找
高阶统计。Adam of Adam 类似于牛顿法的推广。三者是如果振荡大，可以同一个mini
batch有选择的重复几次当输入。
居然没了
有两个办法。一者是统计梯度的互相关。为避免计算量大，可以只选top 25%的梯度算
一下。adam的平方部分适用于海赛阵的对角元素。那么稍微填一些别的元素。二者是找
高阶统计。Adam of Adam 类似于牛顿法的推广。三者是如果振荡大，可以同一个mini
batch有选择的重复几次当输入。
w*x
7 楼
Most Canadian Banks do accept American checks. This mean you can deposit a
US Dollar check into a Canadian Dollar account.
CIBC and Bank of Montreal do not charge any free. I don't know if other
banks charge a fee on it. Most probably not.
But it may take up to 30 days to clear. Usually it's cleared in two weeks at
Bank of Montreal.
By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
the banks.
【在 t*******o 的大作中提到】
: boa，或者wachovia可以汇钱到 加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？
US Dollar check into a Canadian Dollar account.
CIBC and Bank of Montreal do not charge any free. I don't know if other
banks charge a fee on it. Most probably not.
But it may take up to 30 days to clear. Usually it's cleared in two weeks at
Bank of Montreal.
By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
the banks.
【在 t*******o 的大作中提到】
: boa，或者wachovia可以汇钱到 加拿大的Bank of Montreal 吗？
: 他们也接受美元？
: 或者能否寄一张美元的check给他，能否存，有没有手续费？
D*S
8 楼
再说电影里动不动都有些历史掌故的东西,不是本土长大的,基本不会马上心领神会的,
就算你能听懂字面.这个真无法强求了.
就算你能听懂字面.这个真无法强求了.
t*o
9 楼
thanks very much. then I think the best way is to mail the check to my
friend in canada,right ?
at
【在 w****x 的大作中提到】
: Most Canadian Banks do accept American checks. This mean you can deposit a
: US Dollar check into a Canadian Dollar account.
: CIBC and Bank of Montreal do not charge any free. I don't know if other
: banks charge a fee on it. Most probably not.
: But it may take up to 30 days to clear. Usually it's cleared in two weeks at
: Bank of Montreal.
: By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
: the banks.
friend in canada,right ?
at
【在 w****x 的大作中提到】
: Most Canadian Banks do accept American checks. This mean you can deposit a
: US Dollar check into a Canadian Dollar account.
: CIBC and Bank of Montreal do not charge any free. I don't know if other
: banks charge a fee on it. Most probably not.
: But it may take up to 30 days to clear. Usually it's cleared in two weeks at
: Bank of Montreal.
: By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
: the banks.
s*t
10 楼
总有一天会听懂呗
你一直不去听永远也听不明白，在家多看bluray也行
【在 r**********a 的大作中提到】
: 看完就忘的那种
: 很多电影 听不清 听不懂啊 只能明白个大概 听力真是糟糕 怎么办？
你一直不去听永远也听不明白，在家多看bluray也行
【在 r**********a 的大作中提到】
: 看完就忘的那种
: 很多电影 听不清 听不懂啊 只能明白个大概 听力真是糟糕 怎么办？
t*o
11 楼
btw, do wachovia or boa charge me a fee when he deposits my check ?
at
【在 w****x 的大作中提到】
: Most Canadian Banks do accept American checks. This mean you can deposit a
: US Dollar check into a Canadian Dollar account.
: CIBC and Bank of Montreal do not charge any free. I don't know if other
: banks charge a fee on it. Most probably not.
: But it may take up to 30 days to clear. Usually it's cleared in two weeks at
: Bank of Montreal.
: By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
: the banks.
at
【在 w****x 的大作中提到】
: Most Canadian Banks do accept American checks. This mean you can deposit a
: US Dollar check into a Canadian Dollar account.
: CIBC and Bank of Montreal do not charge any free. I don't know if other
: banks charge a fee on it. Most probably not.
: But it may take up to 30 days to clear. Usually it's cleared in two weeks at
: Bank of Montreal.
: By the way, 1 CAD = 1.03 USD today. You will get a lower exchange rate at
: the banks.
w*x
12 楼
No, as I know.
【在 t*******o 的大作中提到】
: btw, do wachovia or boa charge me a fee when he deposits my check ?
:
: at
【在 t*******o 的大作中提到】
: btw, do wachovia or boa charge me a fee when he deposits my check ?
:
: at
相关阅读
有大牛可以说说scikit-learn哪些方面不如tf么？请教大家一个LINQ to SQL 的 query其实税务/财务软件完全有发展空间的安装了floydhub的dl dockerfile，然后import pandas就挂掉了，靠最近跟着领导学了react，的确不错如何run spark scala 代码，不用jar 的情况下？一个经常被误会的门派 -- 星宿派 (转载)现在下载电影最好的方式xeon phi就是翔啊[bssd]goto的现实根据wdong这个data science bowl 进前十了能拿多少钱啊？刚看到一个国内人做的花卉植物鉴别的app，叫“形色scala也花样作死求教各位码工，一个小问题DeepMind: AlphaGo 携手中国顶尖棋手：共创棋妙未来[bssd]Python搞jit为什么这么难？搞AI是不是一定需要学习cuda?lambda 和NLP之间有联系吗？被opengl害惨了！CNN transfer learning 为啥这么牛逼？