s*k
2 楼
分别用什么service啊？training用EC2，原始那些training data 放在S3，model
train出来的数据在DynamoDB ？然后如果在serving stage data很多前面load balance
用lambda？还有哪些经验？
train出来的数据在DynamoDB ？然后如果在serving stage data很多前面load balance
用lambda？还有哪些经验？
a*r
3 楼
Sorry for keep you waiting, we are Chinese. hehe
s*k
4 楼
自己顶一下，板上大牛说说要设计一个large scale的machine learning，有没有什么
可以参考的，比如一个model一台机子跑不下，怎么做分布式？然而训练数据和模型数
据分别存储在哪里？实际中怎么实现？如果上线之后需要更改model，A/B test的方案
是不是就可以了？
balance
【在 s********k 的大作中提到】
: 分别用什么service啊？training用EC2，原始那些training data 放在S3，model
: train出来的数据在DynamoDB ？然后如果在serving stage data很多前面load balance
: 用lambda？还有哪些经验？
可以参考的，比如一个model一台机子跑不下，怎么做分布式？然而训练数据和模型数
据分别存储在哪里？实际中怎么实现？如果上线之后需要更改model，A/B test的方案
是不是就可以了？
balance
【在 s********k 的大作中提到】
: 分别用什么service啊？training用EC2，原始那些training data 放在S3，model
: train出来的数据在DynamoDB ？然后如果在serving stage data很多前面load balance
: 用lambda？还有哪些经验？
w*g
5 楼
deep learning训练不适合scale out，最好的办法就是升级单机。
serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
是只读的，scale out很容易。
【在 s********k 的大作中提到】
: 自己顶一下，板上大牛说说要设计一个large scale的machine learning，有没有什么
: 可以参考的，比如一个model一台机子跑不下，怎么做分布式？然而训练数据和模型数
: 据分别存储在哪里？实际中怎么实现？如果上线之后需要更改model，A/B test的方案
: 是不是就可以了？
:
: balance
serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
是只读的，scale out很容易。
【在 s********k 的大作中提到】
: 自己顶一下，板上大牛说说要设计一个large scale的machine learning，有没有什么
: 可以参考的，比如一个model一台机子跑不下，怎么做分布式？然而训练数据和模型数
: 据分别存储在哪里？实际中怎么实现？如果上线之后需要更改model，A/B test的方案
: 是不是就可以了？
:
: balance
s*k
6 楼
大牛，比如我训练完了，这些训练好的参数用哪种AWS服务存储最合适（NoSQL还是SQL
？）
【在 w***g 的大作中提到】
: deep learning训练不适合scale out，最好的办法就是升级单机。
: serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
: 是只读的，scale out很容易。
？）
【在 w***g 的大作中提到】
: deep learning训练不适合scale out，最好的办法就是升级单机。
: serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
: 是只读的，scale out很容易。
w*g
7 楼
参数就是一个文件，或者一个目录。直接和程序一块儿拷过去就行。
实在实在非要存个啥地方，就存S3。
SQL
【在 s********k 的大作中提到】
: 大牛，比如我训练完了，这些训练好的参数用哪种AWS服务存储最合适（NoSQL还是SQL
: ？）
实在实在非要存个啥地方，就存S3。
SQL
【在 s********k 的大作中提到】
: 大牛，比如我训练完了，这些训练好的参数用哪种AWS服务存储最合适（NoSQL还是SQL
: ？）
f*2
8 楼
应该可以scale out吧，而且大体思路估计有人做过
https://www.cs.cmu.edu/~muli/file/parameter_server_osdi14.pdf
: deep learning训练不适合scale out，最好的办法就是升级单机。
: serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
: 是只读的，scale out很容易。
【在 w***g 的大作中提到】
: 参数就是一个文件，或者一个目录。直接和程序一块儿拷过去就行。
: 实在实在非要存个啥地方，就存S3。
:
: SQL
https://www.cs.cmu.edu/~muli/file/parameter_server_osdi14.pdf
: deep learning训练不适合scale out，最好的办法就是升级单机。
: serving的话就无所谓了，如果数据比较小还可以用CPU算。服务器
: 是只读的，scale out很容易。
【在 w***g 的大作中提到】
: 参数就是一个文件，或者一个目录。直接和程序一块儿拷过去就行。
: 实在实在非要存个啥地方，就存S3。
:
: SQL
s*k
9 楼
现在大规模做都是用 tree based allreduce还是ring based allreduce？
b*g
10 楼
用tensorflow吧，可以上几百个gpu worker，几十个parameter sever
https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute
-engine
https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute
-engine
s*k
11 楼
就是说基本上现在做这些distributed还是用parameter server，不用allreduce？
compute
【在 b******g 的大作中提到】
: 用tensorflow吧，可以上几百个gpu worker，几十个parameter sever
: https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute
: -engine
compute
【在 b******g 的大作中提到】
: 用tensorflow吧，可以上几百个gpu worker，几十个parameter sever
: https://cloud.google.com/solutions/running-distributed-tensorflow-on-compute
: -engine
相关阅读
作paser,lexer就用antlr把，别折腾yacc,bison了 累请答疑：这个angular submit form的例子按照先在的说法 做java spring的，提供rest api的都是前端狗了hashcode面试题 (转载)请教大牛, 大家为什么不用jsp了C++11使用感受及一些问题老形真是 yes zuo yes die 了看CRDT又想到了火车票珍惜生命，远离 R 和 GoGo社区行为准则威胁公开羞辱和终生封杀违反的用户求推荐最好的文件浏览和编辑工具任何用duck type语言写大型web程序的基本就是耍流氓大家现在都关心啥conference?《糖果粉碎传奇》真的“粉碎”了ruby还有市场么？除了rails, chef。html input如果处理非常大的数怎么搞？Python deployment怎么在两个函数见找code pathAngular 2 Survey Results老美有些人挺没意思的