我觉得正真的云计算时代要来了 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

我觉得正真的云计算时代要来了

我觉得正真的云计算时代要来了# Programming - 葵花宝典

w*r2018-11-27 08:11

1 楼

云计算刚被提出来时，主要是做存储和伺服器。后来大数据来了，可以挖掘，但是产生
价值的效率有瓶颈，所以显得有点不痛不痒。再后来，就是深度学习了，确实火了，但
是训练规模还是小。接下来，我觉得会有一个近乎无限数据，无限算力的时代，ML模型
将是软件的常态。

m*n2018-11-27 08:11

2 楼

“我觉得会有一个近乎无限数据，无限算力的时代”
显卡都上10纳米 7纳米了
这已经是硅基芯片的极限了
所以目前的算力已经是极限算力了

x*u2018-11-27 08:11

3 楼

现在的CPU是优化低延迟和逻辑运算，数值上的优化空间还很大
如果人类决定走神经网络的路线，保守估计单机7nm也能做到现在的1000倍速度

【在 m*****n 的大作中提到】

: “我觉得会有一个近乎无限数据，无限算力的时代”
: 显卡都上10纳米 7纳米了
: 这已经是硅基芯片的极限了
: 所以目前的算力已经是极限算力了

m*r2018-11-27 08:11

4 楼

你们又在关心人类的未来，宇宙的极限。佩服佩服。

s*y2018-11-27 08:11

5 楼

能不能展开讲讲？多谢。

【在 x****u 的大作中提到】

: 现在的CPU是优化低延迟和逻辑运算，数值上的优化空间还很大
: 如果人类决定走神经网络的路线，保守估计单机7nm也能做到现在的1000倍速度

x*u2018-11-27 08:11

6 楼

把现有ic上做巨大的多级cache，分支预测流水线乱序等等黑魔法全去掉然后往死里堆
只支持一二种激活函数的简单alu，ram连接本地化
这样的架构算神经网络死快，跑传统程序退回20年前的速度

【在 s******y 的大作中提到】

: 能不能展开讲讲？多谢。

w*r2018-11-27 08:11

7 楼

单卡瓶颈在云面前都不是事儿

: “我觉得会有一个近乎无限数据，无限算力的时代”

: 显卡都上10纳米 7纳米了

: 这已经是硅基芯片的极限了

: 所以目前的算力已经是极限算力了

【在 m*****n 的大作中提到】

: “我觉得会有一个近乎无限数据，无限算力的时代”
: 显卡都上10纳米 7纳米了
: 这已经是硅基芯片的极限了
: 所以目前的算力已经是极限算力了

m*n2018-11-27 08:11

8 楼

花钱啊

【在 w*****r 的大作中提到】

: 单卡瓶颈在云面前都不是事儿
:
:
: “我觉得会有一个近乎无限数据，无限算力的时代”
:
: 显卡都上10纳米 7纳米了
:
: 这已经是硅基芯片的极限了
:
: 所以目前的算力已经是极限算力了
:

g*t2018-11-27 08:11

9 楼

乘法是可以查表的...
以前的大型计算机也有过纯rom,ram的。
现在这套intc的东西和早先的CPU其实不太对的上号。
我之前讲过，微处理器是个学神经网络的博士发明的。
现在估计做软件的没几个知道microCPU和CPU不是一回事了。
实际上你要是查表算乘法，不走通用指令集，专门出一个深学协处理器。那速度限制就
只在IO
了。
不要笑，99乘法表类似的东西做乘法最快。

: “我觉得会有一个近乎无限数据，无限算力的时代”

: 显卡都上10纳米 7纳米了

: 这已经是硅基芯片的极限了

: 所以目前的算力已经是极限算力了

【在 m*****n 的大作中提到】

: 花钱啊

G*d2018-11-27 08:11

10 楼

查表是很慢的。深度学习现在慢的不是在计算部分，“一次”计算至少要访问“三次”
操作数（两次读，一次写）。寄存器的瓶颈压力极大。要增加寄存器数目的话，寄存器
访问速度会严重下降，不要说去访问L1,L2,L3 cache了。目前nvidia的所有架构都存在
这个问题。
“数据搬运”是非常昂贵的，大部分功耗发生在数据搬运上面。计算单元器件可以做到
local，但是寄存器，cache微观地看，距离计算单元较远，汇入连线的密度也不能无限
制增加，这是物理制程决定的。

【在 g****t 的大作中提到】

: 乘法是可以查表的...
: 以前的大型计算机也有过纯rom,ram的。
: 现在这套intc的东西和早先的CPU其实不太对的上号。
: 我之前讲过，微处理器是个学神经网络的博士发明的。
: 现在估计做软件的没几个知道microCPU和CPU不是一回事了。
: 实际上你要是查表算乘法，不走通用指令集，专门出一个深学协处理器。那速度限制就
: 只在IO
: 了。
: 不要笑，99乘法表类似的东西做乘法最快。
:

x*u2018-11-27 08:11

11 楼

x86缺寄存器，把cache当寄存器用是非常变态的，引入了无数肮脏的优化技巧

【在 G*******d 的大作中提到】

: 查表是很慢的。深度学习现在慢的不是在计算部分，“一次”计算至少要访问“三次”
: 操作数（两次读，一次写）。寄存器的瓶颈压力极大。要增加寄存器数目的话，寄存器
: 访问速度会严重下降，不要说去访问L1,L2,L3 cache了。目前nvidia的所有架构都存在
: 这个问题。
: “数据搬运”是非常昂贵的，大部分功耗发生在数据搬运上面。计算单元器件可以做到
: local，但是寄存器，cache微观地看，距离计算单元较远，汇入连线的密度也不能无限
: 制增加，这是物理制程决定的。

g*t2018-11-27 08:11

12 楼

把CPU等同於x86架構是不對的。我們半導體公司一般稱之為
Micro processor。
你們可以看一下乘法的電路。
數字電路借助編碼，可以靈活運用於不同的問題域。但是如果是狹窄的領域，則不需要
數字電路也可以做實用的計算。

: x86缺寄存器，把cache当寄存器用是非常变态的，引入了无数肮脏的优化
技巧

【在 x****u 的大作中提到】

: x86缺寄存器，把cache当寄存器用是非常变态的，引入了无数肮脏的优化技巧

x*u2018-11-27 08:11

13 楼

x86是典型的通用CPU，GPU也是图灵完全的，但是一般称之为GPU不叫micro processor
什么任务做专用数字电路，什么任务用软件模拟，归根结底要看软件发展水平和硬件成本

【在 g****t 的大作中提到】

: 把CPU等同於x86架構是不對的。我們半導體公司一般稱之為
: Micro processor。
: 你們可以看一下乘法的電路。
: 數字電路借助編碼，可以靈活運用於不同的問題域。但是如果是狹窄的領域，則不需要
: 數字電路也可以做實用的計算。
:
:
: x86缺寄存器，把cache当寄存器用是非常变态的，引入了无数肮脏的优化
: 技巧
: