avatar
8 bit神经网络都出来了# Programming - 葵花宝典
M*8
1
【 以下文字转载自 Military 讨论区 】
发信人: MB80528 (肥猫(Contrarian)[食MM而肥]), 信区: Military
标 题: Re: 美国法律就是个joke
发信站: BBS 未名空间站 (Mon Jan 28 19:13:19 2019, 美东)
刑事案的被告,最聪明省时省钱保守不折腾的做法就是:
1. 任何有关自己姓名,确认ID的最少信息可以提供。
2. 对其它问题就引用米国宪法修正法第五条不回答的权力。
“I [hereby] claim and assert my Fifth Amendment
Right against self-incrimination."
结果自然是盘问过程很快结束,被控方没提供任何额外信息,
除了ID, 但回答那问题不大。没证据或证据不足下自然无恙。
坚持立场非常重要,因为一旦开始提供信息,就等于放弃权力。
至少控方会这么说,法官也可能赞同。控方必会借突破口发挥。
永远必要的免责声明:
以上信息,绝非提供法律指导或任何服务,也绝不保证正确。
avatar
f*t
2
MMD
avatar
w*g
3
我感觉神经网络这东西最后可能真得退回到1 bit。
只是要解决1 bit网络怎么回传导数的问题。这个应该是件有利可图的事情。
32 -> 16 -> 8 这么走不是回事。
avatar
a*n
4
it's done 3 years ago already:
Binarized Neural Networks: Training Deep Neural Networks with Weights and
Activations Constrained to +1 or -1
https://arxiv.org/abs/1602.02830
avatar
s*k
5
这就是很多用FPGA来做的希望的局面,都是1bit,FPGA比如xPU可以最大化利用数据带宽

【在 w***g 的大作中提到】
: 我感觉神经网络这东西最后可能真得退回到1 bit。
: 只是要解决1 bit网络怎么回传导数的问题。这个应该是件有利可图的事情。
: 32 -> 16 -> 8 这么走不是回事。

avatar
l*m
6
每个weight的比特数少了,保证同样精度,整个模型要变大。数据输入也要变大。比如
RGB888的图像,不能直接变成RGB111。只是比特数和模型体积不是线性。32->16基本是
没本的买卖。再往下,就不是是了,所以我对减小比特数不太看好。

【在 w***g 的大作中提到】
: 我感觉神经网络这东西最后可能真得退回到1 bit。
: 只是要解决1 bit网络怎么回传导数的问题。这个应该是件有利可图的事情。
: 32 -> 16 -> 8 这么走不是回事。

avatar
w*r
7
我也觉得是,32位训练,16位部署,剩下的活儿总要给合作者留点空间嘛。。。

【在 l*******m 的大作中提到】
: 每个weight的比特数少了,保证同样精度,整个模型要变大。数据输入也要变大。比如
: RGB888的图像,不能直接变成RGB111。只是比特数和模型体积不是线性。32->16基本是
: 没本的买卖。再往下,就不是是了,所以我对减小比特数不太看好。

avatar
C*l
8
生物体怎么update weight的

【在 w***g 的大作中提到】
: 我感觉神经网络这东西最后可能真得退回到1 bit。
: 只是要解决1 bit网络怎么回传导数的问题。这个应该是件有利可图的事情。
: 32 -> 16 -> 8 这么走不是回事。

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。