Tf里面怎么选optimizer? - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

Tf里面怎么选optimizer?

Tf里面怎么选optimizer?# Programming - 葵花宝典

D*U2018-03-22 07:03

1 楼

11月15日无畏的勇者
。。。。。。11月15日出生的人个性顽强不屈，因为他们几乎不会（
即使有也很少）逃避挑战，或为了苟且偷安、贪图小利而在争论时稍有
让步。他们随时准备替自己辩护，但同样地，对于那些需要他们保护的
人来说，他们也是坚强的斗士。。。。。。。

d*z2018-03-22 07:03

2 楼

目标价位$49一枚

w*r2018-03-22 07:03

3 楼

Adam, sgd, momentum,...有啥讲究没?
还是，评价某一个改动对预测性能的影响，一般跑几个epoch就能看出来？

c*s2018-03-22 07:03

4 楼

生日快乐！

s*m2018-03-22 07:03

5 楼

rim可比不上hp财大气粗

h*c2018-03-22 07:03

6 楼

都是瞎鸡巴试出来的，和材料学里烧釜是一个原理

c*u2018-03-22 07:03

7 楼

生日快乐！

【在 D*******U 的大作中提到】

: 11月15日无畏的勇者
: 。。。。。。11月15日出生的人个性顽强不屈，因为他们几乎不会（
: 即使有也很少）逃避挑战，或为了苟且偷安、贪图小利而在争论时稍有
: 让步。他们随时准备替自己辩护，但同样地，对于那些需要他们保护的
: 人来说，他们也是坚强的斗士。。。。。。。

d*z2018-03-22 07:03

8 楼

那好吧59一只，PLAYBOOK才7寸
看TOUCHPAD今天轰轰烈烈跳崖牺牲，估计RIM心都凉半截了

【在 s******m 的大作中提到】

: rim可比不上hp财大气粗

g*t2018-03-22 07:03

9 楼

有综述的文章吧。
但这些算法的理解不能太穿凿。
我个人会看误差序列的积分，微分，误差本身
三个东西的移动平均。类似于PID controller用上去调节步长。

a*s2018-03-22 07:03

10 楼

生日快乐

w*g2018-03-22 07:03

11 楼

如果几个epoch明显看到了提高，最后往往也有提高。
这个真的是炼金术。至少我目前看不到什么道理可言。
搞个贵点的设备，快速iterate是硬道理。

【在 w*****r 的大作中提到】

: Adam, sgd, momentum,...有啥讲究没?
: 还是，评价某一个改动对预测性能的影响，一般跑几个epoch就能看出来？

j*n2018-03-22 07:03

12 楼

LZ生日还是谁生日阿？

x*u2018-03-22 07:03

13 楼

选新的，自动调整学习率的优化器，除非你要发基础模型的论文

【在 w*****r 的大作中提到】

: Adam, sgd, momentum,...有啥讲究没?
: 还是，评价某一个改动对预测性能的影响，一般跑几个epoch就能看出来？

H*y2018-03-22 07:03

14 楼

生日快乐

11月15日无畏的勇者
。。。。。。11月15日出生的人个性顽强不屈，因为他们几乎不会（
即使有也很少）逃避挑战，或为了苟且偷安、贪图小利而在争论时稍有
让步。他们随时准备替自己辩护，但同样地，对于那些需要他们保护的
人来说，他们也是坚强的斗士。。。。。。。

【在 D*******U 的大作中提到】

y*u2018-03-22 07:03

15 楼

这个我同意，当年我还是冶金专业的时候就这个感觉，真是大坑

【在 h**c 的大作中提到】

: 都是瞎鸡巴试出来的，和材料学里烧釜是一个原理

z*a2018-03-22 07:03

16 楼

喜欢eyes on me
生日快乐！

【在 D*******U 的大作中提到】

l*m2018-03-22 07:03

17 楼

和网络，和初始值都有关系。学学八卦，中医对调参很有帮助。最近我用初始化都能控
制overfitting

：Adam, sgd, momentum,...有啥讲究没?
：

wh2018-03-22 07:03

18 楼

你吗？happy.

【在 D*******U 的大作中提到】

y*u2018-03-22 07:03

19 楼

星座有用吗？

【在 l*******m 的大作中提到】

: 和网络，和初始值都有关系。学学八卦，中医对调参很有帮助。最近我用初始化都能控
: 制overfitting
:
: ：Adam, sgd, momentum,...有啥讲究没?
: ：

y*o2018-03-22 07:03

20 楼

生日快乐to无畏的勇者！

g*t2018-03-22 07:03

21 楼

还有风水.
调参数这个名字太土。
我跟别人讲，都叫做calibration。

: 和网络，和初始值都有关系。学学八卦，中医对调参很有帮助。最近我用初始化
都能控

: 制overfitting

: ：Adam, sgd, momentum,...有啥讲究没?

: ：

【在 l*******m 的大作中提到】

: 和网络，和初始值都有关系。学学八卦，中医对调参很有帮助。最近我用初始化都能控
: 制overfitting
:
: ：Adam, sgd, momentum,...有啥讲究没?
: ：

y*u2018-03-22 07:03

22 楼

恩，我们这专门有calibration eingineer，都是各大半导体厂淘汰下来找不到工作的
老帮菜

【在 g****t 的大作中提到】

: 还有风水.
: 调参数这个名字太土。
: 我跟别人讲，都叫做calibration。
:
:
: 和网络，和初始值都有关系。学学八卦，中医对调参很有帮助。最近我用初始化
: 都能控
:
: 制overfitting
:
: ：Adam, sgd, momentum,...有啥讲究没?
:
: ：
: