Redian新闻
>
围棋人工智能Master只用了一个GPU(转) (转载)
avatar
围棋人工智能Master只用了一个GPU(转) (转载)# Stock
C*5
1
【 以下文字转载自 Programming 讨论区 】
发信人: ananpig (●○ 围棋数学一把抓的安安猪), 信区: Programming
标 题: 围棋人工智能Master只用了一个GPU(转)
发信站: BBS 未名空间站 (Sun Mar 26 15:24:24 2017, 美东)
发信人: nightwizard (JK), 信区: Weiqi
标 题: Master只用了一个GPU
发信站: 水木社区 (Sun Mar 26 23:19:17 2017), 转信
http://www.lifein19x19.com/viewtopic.php?p=217809#p217809
1. 好像用到了adversarial learning的思想,让一个anti-AlphaGo找出AlphaGo未考虑
到的选点,以减少漏算、避免过拟合(应该就是整天自我对局,容易不知如何应对新招
的意思吧)
2. 如果要增加开局变化,可调整一个“温度”参数,温度越高则选择评分不是最高但
接近最高的选点概率增加(这个应该是常识吧)
3. Master只用了一个GPU(!)
4. 关于不依赖人类棋谱训练的工作,暂时无可奉告
youtube的视频只有半个小时,并没有提到上面那四点,可能实在Q&A环节说的。
1. adversarial learning现在在图像生成和识别里面很火,也有用在自然语言处理里
面的。图像识别里面就是设置一个generator和一个discriminator,分别训练它们生成
尽可能真实的图像,和区分真实图像和generator生成的图像。对generator来说
discriminator就是一个目标函数,对discriminator来说generator探索真实图像以外
的空间中可能被discriminator误判为真是图像的样本,帮助discriminator更好的区别
真假图像。这里用在AG里的目标类似第二种。
2. 这个温度是指策略网络输出层也就是softmax层的一个参数,网络对每个选点给出一
个跟选点概率相关的数x_i, 然后分别计算exp(x_i/T), 归一化后得到最后的选点概率
。这里T就是温度,T越大不同选点的概率差异越小,这是一个受热力学启发的概念。这
点说明差不多质量的开局比人预想的要多。
3. 测试会比训练用的资源少,但只用1个GPU如果是真的只能说牛逼大发了。。
4. 也许开局变化多也跟没用人类棋谱bootstrap策略网络有关,如果是这样那第二点的
回答其实是避重就轻,因为调温度也是很老的技巧了。我才这点应该是真的,不过
Demis要留个悬念。。
avatar
C*5
2
这个我知道。但是Alpha Go一开始inference好像也用了很多GPU。这个新的算法效率貌
似有很大提高。具体要好好看看。
凡是减少GPU用量的新技术都值得NVDAMD投资者关注。
avatar
C*5
3
这个GAN很了不得。今年NIPS几乎就是GAN的会议。
avatar
w*e
4
没错。不过要想清楚,当真正AI killer app出来的时候,是training用的GPU多,还是
应用train好的DNN时用的GPU多。从现有一些有苗头的app来说,是后者。Tesla train
时是用一个cluster,一万颗GPU了不起了吧。但上路的车数目恐怕得多一到两个数量级。
而且training用的cluster可以被云化,达成多个app多家公司共享。
training部分NVDA目前有无可争议的生态优势。应用时NVDA优势有限。
另外如果AI真的开始成熟(即主要算法大致定型了),并且直接挣钱了,GPU还是会受
到FPGA和ASIC的威胁。只要参见bitcoin mining...最早是CPU,后来开始用GPU,现在
完全是ASIC的天下。
avatar
w*e
5
是可以接到cloud做,但是cloud里头不一定要用nvda gpu。这是问题所在。微软的
cloud在上fpga,狗的cloud在上asic,这些新闻都报过很多了。就算还用gpu,也不一
定要用nvda gpu。
我想说的只是,training只是AI应用上,资源消耗较小的一部分,NVDA在这一部分有明
显生态优势。除此之外,还是相当不好说的。

inference。
avatar
C*5
6
NVDA在inference里也有发力。比如TensorRT。
avatar
s*d
7
有啥稀奇的 你模型training固化稳定了 做成asic都可以 tpu 基本就是个asic 只有少
量参数微调。DL 后期 gpu 就没用了 asic就可以

★ 发自iPhone App: ChineseWeb 16

【在 C*****5 的大作中提到】
: NVDA在inference里也有发力。比如TensorRT。
avatar
s*d
8
等真到了 tensor这时候 都是大量龟公把价格最低的时候 没啥肉 5% gross margin 有
就不错了。不过放心 现在风才刚起来 今年明年应该是猪都能飞

★ 发自iPhone App: ChineseWeb 16

【在 C*****5 的大作中提到】
: NVDA在inference里也有发力。比如TensorRT。
avatar
C*5
9
你这么说我就放心了。多谢

【在 s***d 的大作中提到】
: 等真到了 tensor这时候 都是大量龟公把价格最低的时候 没啥肉 5% gross margin 有
: 就不错了。不过放心 现在风才刚起来 今年明年应该是猪都能飞
:
: ★ 发自iPhone App: ChineseWeb 16

avatar
P*a
10
走神很牛呀。
avatar
s*d
11
你作为产品的AI要是对硬件计算能力无上限 一定是一个失败的AI产品,无限的计算能力
意味着无限的 power,和计算时间.DL之所以很流行,是因为DL不寻找最优最全解,寻找最
合理解. 作为终端上得AI产品, 根本用不着GPU, 也没法用GPU, 现在很多人提出用fpga
过度最后完全倒asic上.
GPU可以作为研发的trainning. 另外google 依然在做tpu, 不知道你听谁说独代独苗,
作tpu的 rtl 龟公我还真认识人家也还在做也没失业. 而且就算要打补丁,和可能的结
果是忽悠消费者环硬件.几块asic 着没多少钱.
avatar
s*d
12
你可以看看comma ai george hotz 的android 手机的自动驾驶prototype, 非常有意思.

fpga
,

【在 s***d 的大作中提到】
: 你作为产品的AI要是对硬件计算能力无上限 一定是一个失败的AI产品,无限的计算能力
: 意味着无限的 power,和计算时间.DL之所以很流行,是因为DL不寻找最优最全解,寻找最
: 合理解. 作为终端上得AI产品, 根本用不着GPU, 也没法用GPU, 现在很多人提出用fpga
: 过度最后完全倒asic上.
: GPU可以作为研发的trainning. 另外google 依然在做tpu, 不知道你听谁说独代独苗,
: 作tpu的 rtl 龟公我还真认识人家也还在做也没失业. 而且就算要打补丁,和可能的结
: 果是忽悠消费者环硬件.几块asic 着没多少钱.

avatar
s*d
13
作为产品,现在的"终端的"DL产品都是训练代价搞,使用代价低, 我一个做硬件的被人鄙
视不懂硬
件,搞笑吧. 别不服气,这年头都有DL 应用在raspberry pi上搞的都有 , geoge hortz
自己用
andoird手机高的999刀开源硬件不少人在弄 .
反而是你,把训练代价和使用代价混委一谈. 消费电子产品,甚至汽车,搞一个1000刀的
GPU目前作为AI刚起步还可以, 最后一定是往asic去的,时间多久不知道.
avatar
a*g
14
因为他有nvda,所以无限夸大gpu 在ai的作用

hortz

【在 s***d 的大作中提到】
: 作为产品,现在的"终端的"DL产品都是训练代价搞,使用代价低, 我一个做硬件的被人鄙
: 视不懂硬
: 件,搞笑吧. 别不服气,这年头都有DL 应用在raspberry pi上搞的都有 , geoge hortz
: 自己用
: andoird手机高的999刀开源硬件不少人在弄 .
: 反而是你,把训练代价和使用代价混委一谈. 消费电子产品,甚至汽车,搞一个1000刀的
: GPU目前作为AI刚起步还可以, 最后一定是往asic去的,时间多久不知道.

avatar
s*d
15
硬件作加X 这是最基本的,asic 是基于某种特定的算法,效率爆高,trainning不适合,作
为应用代价很合适.
avatar
s*d
16
马的,老子一个做半导体的硅工被人骂外行 我也就赫赫了.

【在 a*******g 的大作中提到】
: 因为他有nvda,所以无限夸大gpu 在ai的作用
:
: hortz

avatar
F*s
17
你初来乍到股版能客气点么。
我没看来龙去脉不过讨论技术不需要指责人吧。
avatar
C*5
18
小武是硅工,他不懂硬件版上就没几个懂硬件的了
avatar
P*a
19
“最后一定往asic去”这个过程你估计多少年?

hortz

【在 s***d 的大作中提到】
: 作为产品,现在的"终端的"DL产品都是训练代价搞,使用代价低, 我一个做硬件的被人鄙
: 视不懂硬
: 件,搞笑吧. 别不服气,这年头都有DL 应用在raspberry pi上搞的都有 , geoge hortz
: 自己用
: andoird手机高的999刀开源硬件不少人在弄 .
: 反而是你,把训练代价和使用代价混委一谈. 消费电子产品,甚至汽车,搞一个1000刀的
: GPU目前作为AI刚起步还可以, 最后一定是往asic去的,时间多久不知道.

avatar
I*a
20
LOL,
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。