w*r
2 楼
我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
research下面的code。。。现象如下：
1，拿他pre-train的model，跑我的dataset X，accuracy为a
2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<3，我自己用公版training script在X上train from scratch，accuracy为c，c<
bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
model在我的dataset加train几个epoch的结果还要好。。。
怎么解释？决定跟这个问题死磕了。。。
research下面的code。。。现象如下：
1，拿他pre-train的model，跑我的dataset X，accuracy为a
2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<3，我自己用公版training script在X上train from scratch，accuracy为c，c<
bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
model在我的dataset加train几个epoch的结果还要好。。。
怎么解释？决定跟这个问题死磕了。。。
r*n
3 楼
kao,住在我原来apt的隔壁...
【在 a******e 的大作中提到】
: http://www.tudou.com/programs/view/hHptVqSRFl0
: 留学生原创DV
【在 a******e 的大作中提到】
: http://www.tudou.com/programs/view/hHptVqSRFl0
: 留学生原创DV
g*t
4 楼
Try more epoch to check the trends?
In theory, the information should be fully absorbed if you use the dataset X
infinity times.
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
In theory, the information should be fully absorbed if you use the dataset X
infinity times.
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
a*e
5 楼
really?
【在 r********n 的大作中提到】
: kao,住在我原来apt的隔壁...
【在 r********n 的大作中提到】
: kao,住在我原来apt的隔壁...
w*g
6 楼
我四月份花了一整个星期研究为啥一个pytorch的resnet比
tf.slim的resnet在cifar10上收敛的快。train model水太深了。
2和3我估计是同一个问题。b和c比怎么样？ 正常的话我严重怀疑你分辨率太大了。
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
tf.slim的resnet在cifar10上收敛的快。train model水太深了。
2和3我估计是同一个问题。b和c比怎么样？ 正常的话我严重怀疑你分辨率太大了。
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
r*n
7 楼
那个车站就在我原来apt门口
天天赶点坐bus上学...
【在 a******e 的大作中提到】
: really?
天天赶点坐bus上学...
【在 a******e 的大作中提到】
: really?
a*e
9 楼
前辈啊。。。受我一拜。。。。
【在 r********n 的大作中提到】
: 那个车站就在我原来apt门口
: 天天赶点坐bus上学...
【在 r********n 的大作中提到】
: 那个车站就在我原来apt门口
: 天天赶点坐bus上学...
h*c
10 楼
听你们描述炼丹过程，感觉就是瞎几把乱试啊
z*n
11 楼
拍得有点正
应该表现一下wsn的ws
【在 a******e 的大作中提到】
: http://www.tudou.com/programs/view/hHptVqSRFl0
: 留学生原创DV
应该表现一下wsn的ws
【在 a******e 的大作中提到】
: http://www.tudou.com/programs/view/hHptVqSRFl0
: 留学生原创DV
x*u
12 楼
你做fine-tune的时候lr过大了吧
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
x*u
13 楼
pytorch的模型都是改过的吧
【在 w***g 的大作中提到】
: 我四月份花了一整个星期研究为啥一个pytorch的resnet比
: tf.slim的resnet在cifar10上收敛的快。train model水太深了。
: 2和3我估计是同一个问题。b和c比怎么样？ 正常的话: 我严重怀疑你分辨率太大了。
【在 w***g 的大作中提到】
: 我四月份花了一整个星期研究为啥一个pytorch的resnet比
: tf.slim的resnet在cifar10上收敛的快。train model水太深了。
: 2和3我估计是同一个问题。b和c比怎么样？ 正常的话: 我严重怀疑你分辨率太大了。
w*g
14 楼
难道不是这样的？
：
：听你们描述炼丹过程，感觉就是瞎几把乱试啊
：
：听你们描述炼丹过程，感觉就是瞎几把乱试啊
w*r
15 楼
0.0001, 不大吧。。。
【在 x****u 的大作中提到】
: 你做fine-tune的时候lr过大了吧
【在 x****u 的大作中提到】
: 你做fine-tune的时候lr过大了吧
x*u
16 楼
我搞过的一个东西用只有1e-6才工作，万分之一立即爆掉
【在 w*****r 的大作中提到】
: 0.0001, 不大吧。。。
【在 w*****r 的大作中提到】
: 0.0001, 不大吧。。。
x*u
17 楼
那都是为了发paper，工业界只要能出东西就行，没必要花几个月把结果都交叉验证一遍
【在 h**c 的大作中提到】
: 听你们描述炼丹过程，感觉就是瞎几把乱试啊
【在 h**c 的大作中提到】
: 听你们描述炼丹过程，感觉就是瞎几把乱试啊
w*g
18 楼
你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
全靠见得多。
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
全靠见得多。
【在 w*****r 的大作中提到】
: 我目前试了好几个github不同的open source DNN，包括tensorflow/莫的老师/
: research下面的code。。。现象如下：
: 1，拿他pre-train的model，跑我的dataset X，accuracy为a
: 2，基于pretrain的model，我在X上fine-tune，然后再在X上测，accuracy为b，b<: 3，我自己用公版training script在X上train from scratch，accuracy为c，c<
: bother我的是第2步，别人的model在没见过我的dataset时的performance，比我让该
: model在我的dataset加train几个epoch的结果还要好。。。
: 怎么解释？决定跟这个问题死磕了。。。
w*r
19 楼
我把 fine tune batch norm关掉，貌似就好了。能解释吗？
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
: 全靠见得多。
【在 w***g 的大作中提到】
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
: 全靠见得多。
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
: 全靠见得多。
【在 w***g 的大作中提到】
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
: 全靠见得多。
w*g
20 楼
TF有个坑是默认的batch_norm参数有问题。比如，我的model外面需要罩上这么多。
这个bn decay默认值也不是说有问题，毕竟人家那么牛的model也是这么train出来的。
但是对于小的dataset来说，默认的decay参数会收敛过慢。
我就知道这么多。
with slim.arg_scope([slim.conv2d, slim.conv2d_transpose, slim.max_pool2d
],
padding='SAME'), \
slim.arg_scope([slim.conv2d, slim.conv2d
_transpose], weights_regularizer=slim.l2_regularizer(2.5e-4), normalizer_fn=
slim.batch_norm, normalizer_params={'decay': 0.9, 'epsilon': 5e-4, 'scale':
False, 'is_training':is_training}), \
slim.arg_scope([slim.batch_norm], is_training=is_training):
【在 w*****r 的大作中提到】
: 我把 fine tune batch norm关掉，貌似就好了。能解释吗？
:
:
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
:
: 全靠见得多。
:
这个bn decay默认值也不是说有问题，毕竟人家那么牛的model也是这么train出来的。
但是对于小的dataset来说，默认的decay参数会收敛过慢。
我就知道这么多。
with slim.arg_scope([slim.conv2d, slim.conv2d_transpose, slim.max_pool2d
],
padding='SAME'), \
slim.arg_scope([slim.conv2d, slim.conv2d
_transpose], weights_regularizer=slim.l2_regularizer(2.5e-4), normalizer_fn=
slim.batch_norm, normalizer_params={'decay': 0.9, 'epsilon': 5e-4, 'scale':
False, 'is_training':is_training}), \
slim.arg_scope([slim.batch_norm], is_training=is_training):
【在 w*****r 的大作中提到】
: 我把 fine tune batch norm关掉，貌似就好了。能解释吗？
:
:
: 你用的是哪个轮子？ 我很想仔细看眼。 因为各种坑特别多，在这行干我感觉
:
: 全靠见得多。
:
相关阅读
高级程序员不是追求的目标?对TVM怎么看刚刚在茶水间看电视expedia暴涨有推荐哪个cvpr见闻写的比较好的吗？DeepMind最新的GQN有点意思中国政府派黑客混入开源代码项目偷偷部署安全漏洞图网络深度学习 Graph NNsGolang并发张首晟也开始搞深学了[bssd]三个概念和范畴golang 的int 要怎么用？Pandas作者靠Pandas赚到钱了吗?大疆机器学习算法工程岗2000人参加笔试只招十几个 (转载)[bssd]一行code卖多少钱？冲击美国失败的华为欲杀入韩国Re: horovod by Uber机器学习 现在的思路不对。 (转载)Rust跟Golang比起来咋样？go I/O性能上还是掉打其他几个语言[bssd] Financial Freedom