有论文说大batch size会导致过拟合 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

有论文说大batch size会导致过拟合

有论文说大batch size会导致过拟合# Programming - 葵花宝典

y*h2018-03-20 07:03

1 楼

有朋友介绍discover的online saving account，说利率比较高。但我不太懂这个
online saving account和一般的saving account有什么区别。存钱在这里面安全吗？
版上有大虾请不吝赐教

n*e2018-03-20 07:03

2 楼

从原公司离职了，老板说了让我加油找工作不会阻挠。找工作的时候新公司看我之前的
雇佣合同里有noncompete，所以要我开个证明。但是原来的公司说不方便开release
form，但同时也不会执行NC（因为他们也不付钱给我），现在还有什么办法能证明我不
被这个约束么？
谢谢！

x*u2018-03-20 07:03

3 楼

https://arxiv.org/abs/1609.04836
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp
Minima

v*n2018-03-20 07:03

4 楼

现在不行了改AMEX的吧

【在 y**h 的大作中提到】

: 有朋友介绍discover的online saving account，说利率比较高。但我不太懂这个
: online saving account和一般的saving account有什么区别。存钱在这里面安全吗？
: 版上有大虾请不吝赐教

c*z2018-03-20 07:03

5 楼

ask a lawyer?

L*82018-03-20 07:03

6 楼

For all experiments, we used
10% of the training data as batch size for the large-batch experiments
and 256 data points for small-batch experiments.
512 batch_size应该不算大的

【在 x****u 的大作中提到】

: https://arxiv.org/abs/1609.04836
: On Large-Batch Training for Deep Learning: Generalization Gap and Sharp
: Minima

d*y2018-03-20 07:03

7 楼

online和普通saving基本没区别，区别在于没有local branch、或者即使有也不提供
local的服务，另外区别就是rate不太一样。

【在 y**h 的大作中提到】

p*y2018-03-20 07:03

8 楼

I heard not paid non compete is not enforcible.

【在 c***z 的大作中提到】

: ask a lawyer?

x*u2018-03-20 07:03

9 楼

这主要讲的是趋势问题
我的感觉是batch size越大学习能力越强，但数据集是人类手工设计的，过强学习能力
容易学到系统偏差

【在 L****8 的大作中提到】

: For all experiments, we used
: 10% of the training data as batch size for the large-batch experiments
: and 256 data points for small-batch experiments.
: 512 batch_size应该不算大的

y*h2018-03-20 07:03

10 楼

看来应该是安全的。
好的。谢谢

g*u2018-03-20 07:03

11 楼

靠参加为啥要放弃权力？
你该怎么做就怎么做你一点问题也没有不要担心。并且你也没必要和老伴说这个事
情，没必要waive

w*g2018-03-20 07:03

12 楼

昨天又看到两篇paper/帖子，没细看。一篇说batch size大容易过早收敛。
另一篇说训练到后来不应该缩小learning rate而是应该增大batch size。
那种好几k的batch size应该是上了8显卡吧。
刚刚好不容易拼出一个2 titan xp的机器，还不甚稳定。小作坊日子不容易啊。

【在 L****8 的大作中提到】

: For all experiments, we used
: 10% of the training data as batch size for the large-batch experiments
: and 256 data points for small-batch experiments.
: 512 batch_size应该不算大的

s*r2018-03-20 07:03

13 楼

amex的apr现在是多少啊？

g*u2018-03-20 07:03

14 楼

你的 10% of train 和 256 谁好？

【在 L****8 的大作中提到】

: For all experiments, we used
: 10% of the training data as batch size for the large-batch experiments
: and 256 data points for small-batch experiments.
: 512 batch_size应该不算大的

S*92018-03-20 07:03

15 楼

1.15%?

【在 s*****r 的大作中提到】

: amex的apr现在是多少啊？

l*m2018-03-20 07:03

16 楼

100-300 GPUs, haha

【在 w***g 的大作中提到】

: 昨天又看到两篇paper/帖子，没细看。一篇说batch size大容易过早收敛。
: 另一篇说训练到后来不应该缩小learning rate而是应该增大batch size。
: 那种好几k的batch size应该是上了8显卡吧。
: 刚刚好不容易拼出一个2 titan xp的机器，还不甚稳定。小作坊日子不容易啊。

x*u2018-03-20 07:03

17 楼

最近比特币价格不好，可以找挖矿的租空闲资源

【在 w***g 的大作中提到】

w*r2018-03-20 07:03

18 楼

你想多了，人家可以用CPU做实验

: 昨天又看到两篇paper/帖子，没细看。一篇说batch size大容易过早收
敛。

: 另一篇说训练到后来不应该缩小learning rate而是应该增大batch size。

: 那种好几k的batch size应该是上了8显卡吧。

: 刚刚好不容易拼出一个2 titan xp的机器，还不甚稳定。小作坊日子不容
易啊。

【在 w***g 的大作中提到】