跑深度学习的程序需要啥高级机器吗？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

跑深度学习的程序需要啥高级机器吗？

跑深度学习的程序需要啥高级机器吗？# DataSciences - 数据科学

d*92017-05-04 07:05

1 楼

在跑一个词向量的程序。我那大爷计算机已经跑了５个小时还没跑完。我的是Intel
Celeron 2.16GHZ 4GB ram.
该上 Amazon cloud？

m*n2017-05-04 07:05

2 楼

absolutely

d*92017-05-04 07:05

3 楼

大牛有啥推荐的，amazon cloud, google cloud 还是 microsoft cloud？
还是自己搭机器？

【在 m******n 的大作中提到】

: absolutely

f*n2017-05-04 07:05

4 楼

同问。
我 macpro retina
2.6Ghz Intel core
8GB RAM
Intel Iris 1536 MB Graphics
如果自己的mac不够，学校的 high-performance computing cluster 应该够了把？

【在 d********9 的大作中提到】

: 在跑一个词向量的程序。我那大爷计算机已经跑了５个小时还没跑完。我的是Intel
: Celeron 2.16GHZ 4GB ram.
: 该上 Amazon cloud？

m*n2017-05-04 07:05

5 楼

会自己搭机器的是大牛
而且费用较高
像我们这样转行的，会用AWS／AZure就行了……
就是半天的事搞清楚configuration
反正大部分公司也是用AWS／Azure

【在 d********9 的大作中提到】

: 大牛有啥推荐的，amazon cloud, google cloud 还是 microsoft cloud？
: 还是自己搭机器？

s*h2017-05-04 07:05

6 楼

Mac………小打小闹还行。
上AWS之前先搭个linux机，32g内存，4 core 8 thread加gfx1080可以了。

: 同问。

: 我 macpro retina

: 2.6Ghz Intel core

: 8GB RAM

: Intel Iris 1536 MB Graphics

: 如果自己的mac不够，学校的 high-performance computing cluster 应该够了
把？

【在 f*****n 的大作中提到】

: 同问。
: 我 macpro retina
: 2.6Ghz Intel core
: 8GB RAM
: Intel Iris 1536 MB Graphics
: 如果自己的mac不够，学校的 high-performance computing cluster 应该够了把？

f*n2017-05-04 07:05

7 楼

请问AMS的租金多少呢
我在学校HPCC上折腾半天安装，因为没有root access，所以搞不了
不知道AMS啥样子？有root么？

【在 m******n 的大作中提到】

: 会自己搭机器的是大牛
: 而且费用较高
: 像我们这样转行的，会用AWS／AZure就行了……
: 就是半天的事搞清楚configuration
: 反正大部分公司也是用AWS／Azure

f*n2017-05-04 07:05

8 楼

linux机，你意思是Desktop，台式机？装个Ubuntu啥的？
另外貌似最简单的Mnist data，40000 sample X 700 feature，用tensorflow也就2-4
个小时？
40000 X 700，已经不小了吧？
所以我很好奇，为何deep learning运算量如此巨大？
我刚入门DL,所以问些蠢问题

【在 s*********h 的大作中提到】

: Mac………小打小闹还行。
: 上AWS之前先搭个linux机，32g内存，4 core 8 thread加gfx1080可以了。
:
:
: 同问。
:
: 我 macpro retina
:
: 2.6Ghz Intel core
:
: 8GB RAM
:
: Intel Iris 1536 MB Graphics
:
: 如果自己的mac不够，学校的 high-performance computing cluster 应该够了
: 把？

y*22017-05-04 07:05

9 楼

Linux是因为编程快，能用command line. 深层Neural network 几百万的parameter,
dot product用显卡快很多，因为内核多。游戏画多边形都是dot product。1070完全够
，有钱可以弄个1080ti。mnist 是最简单的，我平时都是＞50million x 500的矩阵，
1080得跑个两三天。neural network 其实是穷举，都是靠数据大，运算快，运算方法
并不先进。

4

【在 f*****n 的大作中提到】

: linux机，你意思是Desktop，台式机？装个Ubuntu啥的？
: 另外貌似最简单的Mnist data，40000 sample X 700 feature，用tensorflow也就2-4
: 个小时？
: 40000 X 700，已经不小了吧？
: 所以我很好奇，为何deep learning运算量如此巨大？
: 我刚入门DL,所以问些蠢问题

f*n2017-05-04 07:05

10 楼

很受教！
mnist 40000 X 784我觉得大，因为比如我们做病人feature analysis；你能有个
10000个病人就已经不得了了；有100个feature也不得了了。看来还是patient feature
的获取太昂贵
所以的确要做真正的big data，还是要跳出biomed
“我平时都是＞50million x 500的矩阵”
不知道你这具体是做啥的呢？这么大的matrix
比如你如果做图像处理，这里的500是pixel number，然后处理50million张图像？
或者图像pixel是50million，处理500张？

【在 y******2 的大作中提到】

: Linux是因为编程快，能用command line. 深层Neural network 几百万的parameter,
: dot product用显卡快很多，因为内核多。游戏画多边形都是dot product。1070完全够
: ，有钱可以弄个1080ti。mnist 是最简单的，我平时都是＞50million x 500的矩阵，
: 1080得跑个两三天。neural network 其实是穷举，都是靠数据大，运算快，运算方法
: 并不先进。
:
: 4

y*22017-05-04 07:05

11 楼

我的不是图像，是anomaly detection。一行数据是一个event，最近这次8千万行，
1100多个feature。图像现在一般没有那么大的数据，所以都是transfer learning，就
是用以前train的模型，套到自己的图片上。大概是224x224 pixel, 3个RGB的channel
，再有个几万的图片就不得了，所以大概是10000x224x224x3。最原始的模型大概有几
百万的图片，但是那个小，也就128x128 pixel. mnist是黑白的，所以最后的只有一个
channel。