亚马逊和谷歌cloud用的还是上两个世代的GPU# Stockc*a2017-10-16 07:101 楼本人研究发现,亚马逊用的还是M100, 谷歌要晚一点,用的是P100和K80,现在还不可能用到更新的volta,而中国的各个新云服务已经购买volta。各个论坛对此不满声音已经很多,我认为aws升级到volta是必然的
c*a2017-10-16 07:103 楼相对同等算力CPU便宜太多了。nvidia定价相比牙膏厂还是要合理很多的。牙膏厂的xeon利润率能达到95%!十分招人恨。nvidia最高档产品也就50%吧。对gamers也很手下留情。我觉得老黄没忘记他当underdog的日子,相对于他的统治地位,已经是很仁慈了。【在 n*******s 的大作中提到】: 我们上次开会还是觉得GPU太贵。。。
w*e2017-10-16 07:104 楼扯淡,你有概念GPU有多贵吗? 服务器CPU一颗一两千, 服务器GPU一张一万多.一台服务器两颗CPU, 却可以插4-8张GPU.【在 c******a 的大作中提到】: 相对同等算力CPU便宜太多了。: nvidia定价相比牙膏厂还是要合理很多的。牙膏厂的xeon利润率能达到95%!十分招人: 恨。nvidia最高档产品也就50%吧。对gamers也很手下留情。我觉得老黄没忘记他当: underdog的日子,相对于他的统治地位,已经是很仁慈了。
w*e2017-10-16 07:105 楼另外,云提供GPU现在也就是赚个吆喝,其实是个赔钱买卖.GPU太贵,换代又太快. 不像CPU,你今年买了撑三年没问题,其实也没人在意,特别是虚拟化后. GPU三年不换就被人骂.然后,CPU可以靠虚拟化超卖,GPU没法超卖现在客户上云搞training的少之又少. 大多要自己train model的公司都自己搞infra.几台机就能插几十张GPU,一个人管理就完事了,为啥要上云?还要冒数据泄漏的风险. 规模效应起不来
F*s2017-10-16 07:108 楼说的对。【在 i*****9 的大作中提到】: 问题是云上不用 GPU, 而是用 TPU 呀: : :云gpu 化大势所趋, 以后云没有AI API 都不好意思说自己是云.
i*92017-10-16 07:109 楼TPU的性能是GPU的几倍,能耗是十几分之一。除了因为不是通用硬件,小作坊玩不起之外,对GPU的优势是碾压的。软件上 tensorflow 直接支持了。你要说小作坊因为惯性还能继续依赖GPU没啥问题,大的云提供商还继续投资GPU就是找死了。类似的,商用的自动驾驶也不会用GPU,因为能耗和延迟的劣势太大。:说的对。:
s*d2017-10-16 07:1010 楼不觉得,看需求,客户需求是你优化好的模型,tpu是没错。但是现在的需求都是训练,你tpu有啥用。当然工程角度,几十年几百年最后模型收敛到最好,那还是tpu天下。【在 i*****9 的大作中提到】: TPU的性能是GPU的几倍,能耗是十几分之一。除了因为不是通用硬件,小作坊玩不起之: 外,对GPU的优势是碾压的。软件上 tensorflow 直接支持了。: 你要说小作坊因为惯性还能继续依赖GPU没啥问题,大的云提供商还继续投资GPU就是找: 死了。类似的,商用的自动驾驶也不会用GPU,因为能耗和延迟的劣势太大。: : :说的对。: :
s*d2017-10-16 07:1012 楼我对第二代tpu training 比gpu 牛多少持保留。tpu 目前也只是tensorflow 优化,DL模型不限于tensorflow,虽然狗狗的牌是这样打得。aws,zure,阿里 的云肯定也没法用tpu。你可能是狗家的,对狗云自信。对于计算量,如果不是特别特别特别的优化,gpu目前是在大计算量方面依然有优势,具有灵活性,tpu 就算training也只是tensorflow 结构的training。 tensorflow 能不能胜出 为时尚早,现在各家都在弄自己的AI SDK frame,等mxnet tensorflow 等等等 淘汰完了一批 再说类tpu比较好。训练【在 i*****9 的大作中提到】: 二代TPU的主要提升就是可以用作 training 呀: : :不觉得,看需求,客户需求是你优化好的模型,tpu是没错。但是现在的需求都是训练: :,你tpu有啥用。
s*d2017-10-16 07:1013 楼老马,你业务水平有点下降,我要是企业为啥不自己弄个DL NN framework,非要用狗狗的tensorflow【在 F****s 的大作中提到】: 说的对。
i*92017-10-16 07:1014 楼这事情和挖矿一样的,泛用芯片不可能比得过专用芯片。aws 也好, Tesla 也好,要在这场游戏里玩下去就必须也做自己的专用芯片。多半不是用狗的TPU,但是如果对于80%以上的应用场景,你的GPU解决方案的效率比狗家的TPU方案性能低百分之几十,能耗高百分之几百,这是没法竞争的。GPU可能依然还有市场,但是最规模化的成熟市场肯定要被成本更低的TPU或类似方案吃掉。:我对第二代tpu training 比gpu 牛多少持保留。tpu 目前也只是tensorflow 优化,DL模型不限于tensorflow,虽然狗狗的牌是这样打得。aws,zure,阿里 的云肯定也没法用tpu。你可能是狗家的,对狗云自信。:【 在 insect9 (insect9) 的大作中提到: 】
s*d2017-10-16 07:1015 楼我同意,最后最后肯定是“类tpu”。 但是目前大家都在摸着石头过河,毕竟DL 根子上没有数学指导, 大家摸着石头过河的情况可能会持续很久,现在就像石器时代,哪怕是大厂,也是很多不同的小组自己打磨自己的石器工具,现在打磨石器最好的工具还是gpu。【在 i*****9 的大作中提到】: 这事情和挖矿一样的,泛用芯片不可能比得过专用芯片。aws 也好, Tesla 也好,要: 在这场游戏里玩下去就必须也做自己的专用芯片。多半不是用狗的TPU,但是如果对于: 80%以上的应用场景,你的GPU解决方案的效率比狗家的TPU方案性能低百分之几十,能: 耗高百分之几百,这是没法竞争的。: GPU可能依然还有市场,但是最规模化的成熟市场肯定要被成本更低的TPU或类似方案吃: 掉。: : :我对第二代tpu training 比gpu 牛多少持保留。tpu 目前也只是tensorflow 优化,: DL模型不限于tensorflow,虽然狗狗的牌是这样打得。aws,zure,阿里 的云肯定也没: 法用tpu。你可能是狗家的,对狗云自信。
i*92017-10-16 07:1016 楼学术界还会继续摸石头摸很多年,但工业界拿个现成框架无脑NN可能占了95%的需求。现在TPU就是说这95%的需求我的性能是GPU的几倍,功耗是GPU的十分之一,你说这怎么办吧。毕竟你要大规模应用到生产上,多数使用者不会是整天琢磨新模型的科学家,你说是不是?至于将来有新的目前TPU不能支持的训练结构,出来TPU3.0是方案,出来A-TPU,B-TPU也是方案。唯独不可能的就是把GPU重新拿出来直接用于大规模商用。:我同意,最后最后肯定是“类tpu”。 但是目前大家都在摸着石头过河,毕竟DL 根子:上没有数学指导, 大家摸着石头过河的情况可能会持续很久,现在就像石器时代,哪
s*d2017-10-16 07:1018 楼先等市场确定各种训练结构ABCDEFG。。。。下来再说,asic芯片要是没有几十万的出货量,制造成本都很难收回,别说研发了。赫赫。TPU根子,哪【在 i*****9 的大作中提到】: 学术界还会继续摸石头摸很多年,但工业界拿个现成框架无脑NN可能占了95%的需求。: 现在TPU就是说这95%的需求我的性能是GPU的几倍,功耗是GPU的十分之一,你说这怎么: 办吧。: 毕竟你要大规模应用到生产上,多数使用者不会是整天琢磨新模型的科学家,你说是不: 是?: 至于将来有新的目前TPU不能支持的训练结构,出来TPU3.0是方案,出来A-TPU,B-TPU: 也是方案。唯独不可能的就是把GPU重新拿出来直接用于大规模商用。: : :我同意,最后最后肯定是“类tpu”。 但是目前大家都在摸着石头过河,毕竟DL 根子: :上没有数学指导, 大家摸着石头过河的情况可能会持续很久,现在就像石器时代,哪
F*s2017-10-16 07:1019 楼先算十年总成本。【在 s***d 的大作中提到】: 老马,你业务水平有点下降,我要是企业为啥不自己弄个DL NN framework,非要用狗: 狗的tensorflow
s*d2017-10-16 07:1020 楼依我看几个大厂,都不尿tensorflow,其实小作坊反而很喜欢tensorflow,尤其是数据服务行业小作坊们,再说搞个framework 出来,大厂也能有想象力。以后什么制造业都要被AI代替,你这个10年成本不算啥,和这个利润比起来。【在 F****s 的大作中提到】: 先算十年总成本。
i*92017-10-16 07:1021 楼Deep learning本来就是70年代的老东西,又被翻出来打败了数学基础更强的 SVM , 哪儿是那么容易再重新推翻的。只要训练思路还是模拟人脑神经元触发那一套,TPU就都还能搞定。至于研发投入,google 也好, FB也好,tesla也好,自己公司内的需求就足够摊薄科研成本了。后面的问题就是微软 Amazon这两个跟不跟进的问题。现状就是人工智能整个领域就是个大水坑,炒的都是40年前的老 idea, 指望突然来个图灵重新洗牌人工智能的底层基础短期来看根本不现实。你要赌GPU就是要赌目前的深度学习架构无法在机器学习的底层架构大规模洗牌之前实现大规模商用。:先等市场确定各种训练结构ABCDEFG。。。。下来再说,asic芯片要是没:有几十万的出货量,制造成本都很难收回,别说研发了。赫赫。
i*92017-10-16 07:1022 楼因为大厂都自己找 Intel做自己的专用芯片呀。活在云上的小作坊只能是云提供啥他用啥,谁家便宜用啥。:依我看几个大厂,都不尿tensorflow,其实小作坊反而很喜欢tensorflow,尤其是数据服务行业小作坊们,再说搞个framework 出来,大厂也能有想象力。以后什么制造业都要被AI代替,你这个10年成本不算啥,和这个利润比起来。:【 在 Forbes (福布斯) 的大作中提到: 】
s*d2017-10-16 07:1023 楼先别急了,你看看自动驾驶多少公司在弄,弄出了多少架构了,同一个tpu asic能搞得定?而且大家还在拼命优化,你asic tpu芯片设计量产要1-3年,你可能刚用上没多久,你的竞争对手可能一个更好的结构发现了,那时候你这量产芯片几个亿打水漂了。这里有一个就是芯片设计与软件开发周期不同步的问题,asic芯片改动成本高,换个架构,之前的硬件投资都不算了。【在 i*****9 的大作中提到】: Deep learning本来就是70年代的老东西,又被翻出来打败了数学基础更强的 SVM , 哪: 儿是那么容易再重新推翻的。只要训练思路还是模拟人脑神经元触发那一套,TPU就都: 还能搞定。: 至于研发投入,google 也好, FB也好,tesla也好,自己公司内的需求就足够摊薄科: 研成本了。后面的问题就是微软 Amazon这两个跟不跟进的问题。: 现状就是人工智能整个领域就是个大水坑,炒的都是40年前的老 idea, 指望突然来个: 图灵重新洗牌人工智能的底层基础短期来看根本不现实。: 你要赌GPU就是要赌目前的深度学习架构无法在机器学习的底层架构大规模洗牌之前实: 现大规模商用。:
s*d2017-10-16 07:1024 楼大厂自己会做没错,但是现阶段肯定还是gpu干活,自动驾驶那么多团队,包括tesla,mobileye都还是gpu干活,市场没证明你的结构之前,没人会花大钱高asic。【在 i*****9 的大作中提到】: 因为大厂都自己找 Intel做自己的专用芯片呀。活在云上的小作坊只能是云提供啥他用: 啥,谁家便宜用啥。: : :依我看几个大厂,都不尿tensorflow,其实小作坊反而很喜欢tensorflow,尤其是数: 据服务行业小作坊们,再说搞个framework 出来,大厂也能有想象力。以后什么制造业: 都要被AI代替,你这个10年成本不算啥,和这个利润比起来。: :【 在 Forbes (福布斯) 的大作中提到: 】
i*92017-10-16 07:1025 楼TPU 不是 asic 呀,又不限定网络结构。所有目前基于矩阵运算的学习方式都可以跑在TPU上,没记错的话应该是除了SVM不支持现在在用的机器学习算法都支持了。不是说你改个网络层数,换个激发函数就算换一个架构的。严格来说从70年代到现在,一共也就马尔可夫模型,SVN,ANN 三种不同架构,下个架构长啥样还没影呢。:先别急了,你看看自动驾驶多少公司在弄,弄出了多少架构了,同一个tpu asic能搞得定?而且大家还在拼命优化,你芯片设计量产要1年,你可能刚用上没多久,你的竞争:对手可能一个更好
i*92017-10-16 07:1026 楼你可以等等看,看这几位转用 Intel 代工之后做出来还是不是 GPU.:大厂自己会做没错,但是现阶段肯定还是gpu干活,自动驾驶那么多团队,包括tesla,mobileye都还是gpu干活,市场没证明你的结构之前,没人会花大钱高asic。:【 在 insect9 (insect9) 的大作中提到: 】
s*d2017-10-16 07:1027 楼我不厚道的笑了,这几位都在专用intel的fpga,然而fpga 就是joke。fpga 功耗不必gpu好到哪里去,fpga硬件verilog 编成,哪有cuda好。fpga目前也就是gpu的零头,这个我又内参。当然了,又相当一部分人硅工认为fpga比gpu好,在大数据里面,然后我不以为然。我不是N家的。tesla【在 i*****9 的大作中提到】: 你可以等等看,看这几位转用 Intel 代工之后做出来还是不是 GPU.: : :大厂自己会做没错,但是现阶段肯定还是gpu干活,自动驾驶那么多团队,包括tesla: ,mobileye都还是gpu干活,市场没证明你的结构之前,没人会花大钱高asic。: :【 在 insect9 (insect9) 的大作中提到: 】
l*m2017-10-16 07:1028 楼女大下一代自动驾驶芯片是两颗GPU和两颗女大自己的TPU。Google则可以做出TPU但做不出GPU。女大的GPU可以加速的应用太多了,TPU只能是矩阵乘法和卷积。做一些实际系统就知道,很多数据处理都没法用TPU,大家都是先写CPU的,再写GPU加速:TPU 不是 asic 呀,又不限定网络结构。所有目前基于矩阵运算的学习方式都可以跑在TPU上,没记错的话应该是除了SVM不支持现在在用的机器学习算法都支持了。:
i*92017-10-16 07:1031 楼TPU 没法单独使用性能上 TPU+CPU > TPU+GPU >> GPU >> CPU原因不复杂,TPU和CPU的互补性更强,你具备EECS的基础知识就能明白我在说什么。说到底,GPU毕竟是为图像渲染而优化的设计,在机器学习领域GPU就是介于CPU和TPU之间的一种中间形态。一旦出现并行度更高的TPU,GPU的地位自然就尴尬了。:女大下一代自动驾驶芯片是两颗GPU和两颗女大自己的TPU。Google则可以做出TPU但做:不出GPU。女大的GPU可以加速的应用太多了,TPU只能是矩阵乘法和卷积。做一些实际
m*n2017-10-16 07:1032 楼你是不是觉得矩阵运算很简单啊,不就是三层for循环嘛?但做实际【在 i*****9 的大作中提到】: TPU 没法单独使用: 性能上 TPU+CPU > TPU+GPU >> GPU >> CPU: 原因不复杂,TPU和CPU的互补性更强,你具备EECS的基础知识就能明白我在说什么。: 说到底,GPU毕竟是为图像渲染而优化的设计,在机器学习领域GPU就是介于CPU和TPU之: 间的一种中间形态。一旦出现并行度更高的TPU,GPU的地位自然就尴尬了。: : :女大下一代自动驾驶芯片是两颗GPU和两颗女大自己的TPU。Google则可以做出TPU但做: :不出GPU。女大的GPU可以加速的应用太多了,TPU只能是矩阵乘法和卷积。做一些实际
F*s2017-10-16 07:1033 楼软件业天不怕地不怕,最怕就是狗开源。何况连百度都在开源。Nvidia在无人驾驶硬件上无可撼动,而AI方面肯定面临“狗软果麻脸”等竞争。【在 s***d 的大作中提到】: 依我看几个大厂,都不尿tensorflow,其实小作坊反而很喜欢tensorflow,尤其是数据: 服务行业小作坊们,再说搞个framework 出来,大厂也能有想象力。以后什么制造业都: 要被AI代替,你这个10年成本不算啥,和这个利润比起来。
l*m2017-10-16 07:1034 楼你用tpu怎么开发,测试?每人配一个上万块的系统?用GPU,一般的标配是一个带1080的台式机,调好了上server。GPU明显开发环境便宜。开发环境成本低才会有众多的开发者。:TPU 没法单独使用:
F*s2017-10-16 07:1035 楼所见略同。发信人: Forbes (福布斯), 信区: Stock标 题: Re: GTX 1080 显卡已然成了深度学习的标配发信站: BBS 未名空间站 (Thu Sep 01 17:51:06 2016, 美东)没说搞deep learning啊,不是这专业的。作为一个投资者,看好GTX 1080对于降低deep learning门槛的市场需求。1080【在 l*******m 的大作中提到】: 你用tpu怎么开发,测试?每人配一个上万块的系统?用GPU,一般的标配是一个带1080: 的台式机,调好了上server。GPU明显开发环境便宜。开发环境成本低才会有众多的开: 发者。: : :TPU 没法单独使用: :
i*92017-10-16 07:1036 楼你这个终于说到点子上了,GPU的生态环境远比TPU成熟。问题在于,1大公司自己就是生态,2大公司离职创业员工自带生态,3大公司可以砸钱砸出生态。狗家的思路就是 tensorflow 直接支持 TPU,你用 tensorflow 开发,跑在有TPU的系统上就用TPU,跑在只有CPU的系统上就用CPU。普通人没法配TPU的机器?更好办了,google云有呀。你可以说也许AI训练过程不会移到云上,这点我不争,确实有可能。但指望未来云上还用GPU来提供机器学习服务,那纯粹想多了。:你用tpu怎么开发,测试?每人配一个上万块的系统?用GPU,一般的标配是一个带1080的台式机,调好了上server。GPU明显开发环境便宜。开发环境成本低才会有众多的开:发者。
i*92017-10-16 07:1037 楼不简单,但却是最适合直接用硬件提高吞吐量来加速的基础算法了。所以GPU会比CPU快,TPU比GPU快。:你是不是觉得矩阵运算很简单啊,不就是三层for循环嘛?:
F*s2017-10-16 07:1038 楼"指望未来云上还用GPU来提供机器学习服务,那纯粹想多了。"我觉得有人是看最近一两年,你是看再远几年甚至十年以后。如果说清楚时间,其实说的都没错。而且我觉得你的思路更像一个技术型风投,而不仅仅是搞技术的。【在 i*****9 的大作中提到】: 你这个终于说到点子上了,GPU的生态环境远比TPU成熟。问题在于,1大公司自己就是: 生态,2大公司离职创业员工自带生态,3大公司可以砸钱砸出生态。: 狗家的思路就是 tensorflow 直接支持 TPU,你用 tensorflow 开发,跑在有TPU的系: 统上就用TPU,跑在只有CPU的系统上就用CPU。普通人没法配TPU的机器?更好办了,: google云有呀。: 你可以说也许AI训练过程不会移到云上,这点我不争,确实有可能。但指望未来云上还: 用GPU来提供机器学习服务,那纯粹想多了。: : :你用tpu怎么开发,测试?每人配一个上万块的系统?用GPU,一般的标配是一个带: 1080的台式机,调好了上server。GPU明显开发环境便宜。开发环境成本低才会有众多
m*n2017-10-16 07:1039 楼所见略同,这位insect9说的比老马你自己还不靠谱【在 F****s 的大作中提到】: "指望未来云上还用GPU来提供机器学习服务,那纯粹想多了。": 我觉得有人是看最近一两年,你是看再远几年甚至十年以后。如果说清楚时间,其实说: 的都没错。: 而且我觉得你的思路更像一个技术型风投,而不仅仅是搞技术的。
i*92017-10-16 07:1040 楼我是找工作的,我要确定我要花半年一年学的知识未来十年还有用。所以在我看来,用GPU加速机器学习的技术已经盖上棺材板了。至于股票,除了RSU外,我只有指数。为了分摊风险还要避免买科技股成分太高的指数。:"指望未来云上还用GPU来提供机器学习服务,那纯粹想多了。":
s*n2017-10-16 07:1041 楼买FPGA来玩甚至投产 如果看不出来这是不是有心要做ASIC的话 不知道看不得出来并不是为了方便买GPU?狗已经在做ASIC了BAT也不是逗逼 不会一直张着嘴等着人往喉咙里灌margin过半的成品的总之这些对老黄而言不是好事不过近期怎么样那就得看各人的判断了
i*92017-10-16 07:1042 楼BAT 的问题比较麻烦。狗,tesla, fb 都是找的 Intel. 不知道是纯粹价格因素,还是工艺或者其他地方有要求。如果工艺上有要求的话,BAT不一定能找到地方自己做。:买FPGA来玩甚至投产 如果看不出来这是不是有心要做ASIC的话 不知道看不得出来并不是为了方便买GPU?:
c*a2017-10-16 07:1043 楼狗的这个idea 确实不错,和tensorflow和在一起是有威胁。不过,现在看法是Volta兼容tensor core已经把这个威胁neutralized。这个core比例可以调整的。甚至最后老黄tensor core做的可能比狗家还好。就是不知道tensor core具体是怎么用的: BAT 的问题比较麻烦。狗,tesla, fb 都是找的 Intel. 不知道是纯粹价格因素,还是: 工艺或者其他地方有要求。如果工艺上有要求的话,BAT不一定能找到地方自己做。: :买FPGA来玩甚至投产 如果看不出来这是不是有心要做ASIC的话 不知道看不得出来并: 不是为了方便买GPU?: :【在 i*****9 的大作中提到】: BAT 的问题比较麻烦。狗,tesla, fb 都是找的 Intel. 不知道是纯粹价格因素,还是: 工艺或者其他地方有要求。如果工艺上有要求的话,BAT不一定能找到地方自己做。: : :买FPGA来玩甚至投产 如果看不出来这是不是有心要做ASIC的话 不知道看不得出来并: 不是为了方便买GPU?: :
c*a2017-10-16 07:1044 楼说实话超高margin不一定是好事。把人逼走给人动力做新的东西。牙膏厂就是这样丧失领导地位的: 只要卖得出去,卖得贵,对NVDA股董是利好【在 m*****n 的大作中提到】: 所见略同,: 这位insect9说的比老马你自己还不靠谱
w*e2017-10-16 07:1045 楼BAT不麻烦,甚至可能是有优势的. 美国大厂找altera定制的fpga是在中国工厂做的. 鹅厂fpga已经上线鹅厂云了. 中国没有能力做的只有x86架构CPU,剩下asic设计和制作,fpga,arm等等,都不在话下而且比美国要便宜.【在 i*****9 的大作中提到】: BAT 的问题比较麻烦。狗,tesla, fb 都是找的 Intel. 不知道是纯粹价格因素,还是: 工艺或者其他地方有要求。如果工艺上有要求的话,BAT不一定能找到地方自己做。: : :买FPGA来玩甚至投产 如果看不出来这是不是有心要做ASIC的话 不知道看不得出来并: 不是为了方便买GPU?: :