Redian新闻
>
lightroom请科普下双路deep learning
avatar
lightroom请科普下双路deep learning# Programming - 葵花宝典
b*e
1
办公室总是像冰窖一样冷,严重影响办公的心情。
终于忍不住了上网查了一些相关信息,发现原来OSHA有办公室温度规定。
今天下了一个APP,发现偶办公室的温度---17摄氏度合63F !!有木有!!!
贡献几个连接如下:
http://www.ccohs.ca/oshanswers/phys_agents/thermal_comfort.html
https://www.osha.gov/pls/oshaweb/owadisp.show_document?p_table=
INTERPRETATIONS&p_id=24602
“As a general rule, office temperature and humidity are matters of human
comfort. OSHA has no regulations specifically addressing temperature and
humidity in an office setting. However, Section III, Chapter 2, Subsection V
of the OSHA Technical Manual, "Recommendations for the Employer," provides
engineering and administrative guidance to prevent or alleviate indoor air
quality problems. Air treatment is defined under the engineering
recommendations as, "the removal of air contaminants and/or the control of
room temperature and humidity." OSHA recommends temperature control in the
range of 68-76° F and humidity control in the range of 20%-60%.“
希望也有这个问题的XDJM帮忙看看,出谋划策,很想闹一下争取下基本权利!
真的不想干了,天天被温度虐待!
avatar
a*e
2
千万别用Chelmsford的那个Noble Gabriel.
按规定应该给申请人一份。 只勉强给一不全的copy.态度极其恶劣。
avatar
w*g
3
我一直是搞单路的。如果有12G内存还能同时训练两个模型。
有两块GPU还需要手工分配其实不如两台单GPU的方便。
我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
我想请教下双GPU对deep learning有啥实际的优势。
avatar
a*g
4
够惨

V

【在 b******e 的大作中提到】
: 办公室总是像冰窖一样冷,严重影响办公的心情。
: 终于忍不住了上网查了一些相关信息,发现原来OSHA有办公室温度规定。
: 今天下了一个APP,发现偶办公室的温度---17摄氏度合63F !!有木有!!!
: 贡献几个连接如下:
: http://www.ccohs.ca/oshanswers/phys_agents/thermal_comfort.html
: https://www.osha.gov/pls/oshaweb/owadisp.show_document?p_table=
: INTERPRETATIONS&p_id=24602
: “As a general rule, office temperature and humidity are matters of human
: comfort. OSHA has no regulations specifically addressing temperature and
: humidity in an office setting. However, Section III, Chapter 2, Subsection V

avatar
l*m
5
如果要用自己的网络结构,没有pretrained,就要自己训练imagenet, 这个可是GPU越
多越好。对fcn而言,batch size=1, 就是在不同图像大小时比较方便,不过就不能用
batch norm了。其实,使用 patch/crop/pad整成一样大小的batch, 还是会快些,而且
可以用batch norm
当然双路适合折腾,reduce, sync什么的。如果GPU的芯片相同,可能会支持P2P通信,
不用走CPU. 还有如果网络中有batch norm, 为了速度,batch norm一般是local的,但
是反而比单GPU(同步)的性能好一点点,我估计有些ensembling gain

【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。

avatar
N*N
6
你其他同事不嫌冷吗?

V

【在 b******e 的大作中提到】
: 办公室总是像冰窖一样冷,严重影响办公的心情。
: 终于忍不住了上网查了一些相关信息,发现原来OSHA有办公室温度规定。
: 今天下了一个APP,发现偶办公室的温度---17摄氏度合63F !!有木有!!!
: 贡献几个连接如下:
: http://www.ccohs.ca/oshanswers/phys_agents/thermal_comfort.html
: https://www.osha.gov/pls/oshaweb/owadisp.show_document?p_table=
: INTERPRETATIONS&p_id=24602
: “As a general rule, office temperature and humidity are matters of human
: comfort. OSHA has no regulations specifically addressing temperature and
: humidity in an office setting. However, Section III, Chapter 2, Subsection V

avatar
N*m
7
你多机是用spark吗?有什么caveat?

【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。

avatar
b*c
8
我们公司没楼主那儿那么冷,我们嫌冷的时候,经常隔壁办公室的胖子要开个personal
fan还抱怨热...

【在 N**N 的大作中提到】
: 你其他同事不嫌冷吗?
:
: V

avatar
l*m
9
我就是单机,多机tensorflow就够了

【在 N*****m 的大作中提到】
: 你多机是用spark吗?有什么caveat?
avatar
N*m
10
如果不用tensorflow呢?

【在 l*******m 的大作中提到】
: 我就是单机,多机tensorflow就够了
avatar
w*g
11
多机主要是按图片并行做预测,或者训练多个模型,
不是多机并行训练一个模型。

【在 N*****m 的大作中提到】
: 如果不用tensorflow呢?
avatar
N*m
12
这个我知道啊
但是并行的job scheduler/orchastration啥的你用的啥?

【在 w***g 的大作中提到】
: 多机主要是按图片并行做预测,或者训练多个模型,
: 不是多机并行训练一个模型。

avatar
w*g
13
没有scheduler。每个输入文件一个输出文件,开始处理前先写一个空文件
占位,如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。
如果想用scheduler,torque/qsub比较适合这类问题。

【在 N*****m 的大作中提到】
: 这个我知道啊
: 但是并行的job scheduler/orchastration啥的你用的啥?

avatar
N*m
14
好像这些没有文件分割,工作流程管理,failover,也不太适合云部署

【在 w***g 的大作中提到】
: 没有scheduler。每个输入文件一个输出文件,开始处理前先写一个空文件
: 占位,如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。
: 如果想用scheduler,torque/qsub比较适合这类问题。

avatar
l*m
15
装多GPU坑很多。比如
1。 一定不要2.5slot宽的
2。最好冷却系统是blower,否则机箱温度过高
3。主板x16/x16/x8/NA的模式一般要在bios里开启
4. 每个PCIe插槽不是一样的,要看主板说明

【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。

avatar
w*r
16
我怎么觉得如果你有两块GPU,batch改为2,训练速度可以快将近一倍。caffe和mxnet应
该都可以在PCIE上完成parameter同步,tensorflow不了解。

【在 w***g 的大作中提到】
: 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
: 有两块GPU还需要手工分配其实不如两台单GPU的方便。
: 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
: 我想请教下双GPU对deep learning有啥实际的优势。

avatar
S*e
17
Yahoo 的玩意: Tensorflow on Spark(https://github.com/yahoo/
TensorFlowOnSpark) 也不能用多机并行训练一个模型吗?

【在 w***g 的大作中提到】
: 多机主要是按图片并行做预测,或者训练多个模型,
: 不是多机并行训练一个模型。

avatar
N*m
18
yahoo还有caffeonspark

【在 S*******e 的大作中提到】
: Yahoo 的玩意: Tensorflow on Spark(https://github.com/yahoo/
: TensorFlowOnSpark) 也不能用多机并行训练一个模型吗?

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。