Y*e
2 楼
另一个部门的老美,平时关系挺好的,今天没来上班,突然发email说要
relocate去芝加哥,虽然短时间内还算我们公司的,但以后就不好说了。
想回封email,祝福他一下。这种情形,用英文应该怎么表达祝福?多谢。
relocate去芝加哥,虽然短时间内还算我们公司的,但以后就不好说了。
想回封email,祝福他一下。这种情形,用英文应该怎么表达祝福?多谢。
e*o
3 楼
转眼在国外生活已经接近一年了,看看身边的人,突然觉得有些落寞。大学毕业之后,只身一人来到国外读书。虽然经常遇到黄皮肤的你们,有时候还是会很累。黄皮肤的室友开放热情,对待感情也是这样。最近上映了一部很吸引的片子,周末想叫上室友一起去看。Honey, 去看电影吧,我请客。室友揉了揉我的脸,乖乖,今天本小姐要跟新交的BF约会哦,对了,我换男朋友了。金发碧眼,我简直要陷进去了。然后,接下来,在她化妆的十五分钟里,一直在喋喋不休那个金发碧眼的大帅哥。给了我一个big hug之后,她就出门了。打开通讯簿,找谁呢?从头翻到尾,我爱的他们,曾经一起吐槽电影,一起欢声笑语的他们却在大洋彼岸。新交的朋友,哎,还是算了吧。我安慰自己,享受一下独处的时光吧。自己一个人去了电影院,看到好笑的部分哈哈大笑,拍拍旁边的椅子,扭头想说,这也太搞笑了吧,话还没说完,自己叹了口气。但电影结束再也没笑过。电影结束之后,正好到了饭点,低落的情绪丝毫没有影响我的食欲,肚子咕咕的叫,没办法自己一个人去吃吧。服务员看我一个人,就说需要打包吗?我点点头,是啊,大家都成群结队,成双成对,我自己回寝室吃吧。只是,有时候,一个人会觉得有些累而已。
a*l
4 楼
记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
套一个神经网络发个什么东西.
现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
谁对这方面比较了解的,是不是探讨一下?
是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
套一个神经网络发个什么东西.
现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
谁对这方面比较了解的,是不是探讨一下?
d*e
6 楼
wish you all the best
g*u
7 楼
这东西就无关痛痒的地方可以用,比如鉴定个甲骨文,下个棋.
要用在飞控上,哪里吹来风大了点,对不起这个角度的风没训练过,电脑觉得还是掉下去
比较好.
要用在飞控上,哪里吹来风大了点,对不起这个角度的风没训练过,电脑觉得还是掉下去
比较好.
s*n
8 楼
传说九十年代时候不太火了。近十年又火起来主要是大规模并行计算起来了,可以用比
较大的神经网络了。最近就有了这个炒起来的概念deep learning, Google这个网络有
13层好像,每层25个神经元。
工程控制流程应该用处不大。一般的流程优化或者anomaly detection大概比较有用。
神经网络是个黑箱,我的理解就是它是一个高维极其复杂非线性的函数拟合,应用在那
些你搞不懂预测目标和input之间有什么关系的问题上比较有效,比如图像识别。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
较大的神经网络了。最近就有了这个炒起来的概念deep learning, Google这个网络有
13层好像,每层25个神经元。
工程控制流程应该用处不大。一般的流程优化或者anomaly detection大概比较有用。
神经网络是个黑箱,我的理解就是它是一个高维极其复杂非线性的函数拟合,应用在那
些你搞不懂预测目标和input之间有什么关系的问题上比较有效,比如图像识别。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
p*0
11 楼
干啥都不能迷信,神经网只是一个优化算法而已。
c*y
12 楼
06年之前基本是伪科学,只能做到4~5层,不直观,难以控制。06年,现在
deeplearning开始出现了,搞出了更多层的神经网络,可以训练出复杂模型,超越了其
他算法,也估计也可以超越人类大脑了。
alphago里面有两个12还是13层的神经网络。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
deeplearning开始出现了,搞出了更多层的神经网络,可以训练出复杂模型,超越了其
他算法,也估计也可以超越人类大脑了。
alphago里面有两个12还是13层的神经网络。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
z*m
16 楼
神经网络对原理不清楚的系统控制还是不错的虽然需要大量数据的学习。
如果系统的原理已经清楚了就没必要使用。
如果系统的原理已经清楚了就没必要使用。
v*e
20 楼
突破就是层数实现了突破
最早就三层;4到5层就训练不了。
现在更多层也能训练了,因为算法改进的缘故。
还有计算能力也大大加强了。
量变形成了质变了。
最早就三层;4到5层就训练不了。
现在更多层也能训练了,因为算法改进的缘故。
还有计算能力也大大加强了。
量变形成了质变了。
e*g
22 楼
进步在这里:大数据+GPU并行训练;网络模型结构设计上突破了很多限制和想像力,比
如inception network,时序序列的RNN/LSTM,相当于很深的网络,建模存储的memory
network;训练算法上的trick,如relu,dropout,batch normalization, residual
network;和reinforcement learning的结合等。
想学习的话,可以根据我上面提供的关键词搜索学习;减少走弯路,layer-by-layer和
RBF就不用看了。
【在 a****l 的大作中提到】
: 说老师是老黄历没什么意思,我们还是学术点的讨论到底进步在哪里比较有意义。菌版
: 的坏风气就别扩散了.
如inception network,时序序列的RNN/LSTM,相当于很深的网络,建模存储的memory
network;训练算法上的trick,如relu,dropout,batch normalization, residual
network;和reinforcement learning的结合等。
想学习的话,可以根据我上面提供的关键词搜索学习;减少走弯路,layer-by-layer和
RBF就不用看了。
【在 a****l 的大作中提到】
: 说老师是老黄历没什么意思,我们还是学术点的讨论到底进步在哪里比较有意义。菌版
: 的坏风气就别扩散了.
h*s
23 楼
说说我老的个人体验,作为参考:
(1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
科学(science)大幅度重叠的一门研究课题和工程技术。
(2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
(3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应
用的新思路,尤其在无目标自动学习方面。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
(1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
科学(science)大幅度重叠的一门研究课题和工程技术。
(2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
(3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应
用的新思路,尤其在无目标自动学习方面。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
S*8
24 楼
谢谢你的总结!
P.S.1
那个SVD是不是笔误, 是说SVM吧
P.S.2
BP深度训练的一个基本理论问题是说啥?
能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?
【在 h***s 的大作中提到】
: 说说我老的个人体验,作为参考:
: (1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
: 确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
: 科学(science)大幅度重叠的一门研究课题和工程技术。
: (2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
: 有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
: (3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
: 题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
: 二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
: 于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应
P.S.1
那个SVD是不是笔误, 是说SVM吧
P.S.2
BP深度训练的一个基本理论问题是说啥?
能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?
【在 h***s 的大作中提到】
: 说说我老的个人体验,作为参考:
: (1) 就像上面有人指出的,精确叫“人工”神经网络,所以从科学角度讲,没有任何
: 确立的事实,证实人脑的神经网络是以流行的算法运作的。所以,这是手艺(art)和
: 科学(science)大幅度重叠的一门研究课题和工程技术。
: (2) 作为一项工程技术,人工神经网络有很广的应用,老黄历的SVM,RBF,SOM等照样
: 有用,如果用地得当。新黄历的名词,大家都在热播,就不多说了。
: (3) 说到新黄历,和BP有关的,有三点提一下:其一,BP深度训练的一个基本理论问
: 题,通过一些技术手段(比如CNN,RBM/stacking)来绕过,获得显著的实用效果;其
: 二,这些技术手段中的某些,提供了很多新的理论灌水机会,是好是坏,点赞叫骂,属
: 于个人爱好,和科学与手艺都无关。其三,这些技术手段给出了人工神经网络研究和应
e*y
25 楼
神经网络要做到能模拟人脑必须要先弄清人脑思维的机制,现在的神经网络还是基于神
经科学的研究的。所以大家还是不要看不起千老啊。
经科学的研究的。所以大家还是不要看不起千老啊。
h*s
27 楼
嗯,SVM和内核机,我编辑改过了。
基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
论瓶颈,无法通过硬件速度来解决。
新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
【在 S****8 的大作中提到】
: 谢谢你的总结!
: P.S.1
: 那个SVD是不是笔误, 是说SVM吧
: P.S.2
: BP深度训练的一个基本理论问题是说啥?
: 能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?
基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
论瓶颈,无法通过硬件速度来解决。
新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
【在 S****8 的大作中提到】
: 谢谢你的总结!
: P.S.1
: 那个SVD是不是笔误, 是说SVM吧
: P.S.2
: BP深度训练的一个基本理论问题是说啥?
: 能不能总结下新黄历中的技术手段中您认为最promising的某个或几个方向?
S*8
29 楼
非常感谢哈, 新黄历我也是刚转行入门去做, 要是能总结下现在BP到深层是用的哪些技
术就好了
我只知道一开始还是hinton那个学生alex解决的
非实数值的神经脉冲.有点格林函数的味道啊, 当年物理学多了...
【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
术就好了
我只知道一开始还是hinton那个学生alex解决的
非实数值的神经脉冲.有点格林函数的味道啊, 当年物理学多了...
【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
T*e
30 楼
生物千老来请教大神heyes:
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
T*e
31 楼
生物千老来请教大神heyes:
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
代大胆提出的假设,现在正逐渐被各种验证。
小弟是做生物的,恰巧对神经网络的强弱调控比较感兴趣。看到大神提到Hebb的大名,
希望能被科普几句。
谢谢!
S*8
32 楼
你说的这个模型不就跟忆阻器差不多嘛, 去搜下memristor
【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
T*e
33 楼
谢谢楼上的忆阻器!wiki百度一把,很有意思。Hebbian的模型大概确实是这么个意思
。看了很有启发。
再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
保留信息的改变(或者保存)。
谢谢!
。看了很有启发。
再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
保留信息的改变(或者保存)。
谢谢!
h*s
34 楼
很早的一个基于hebbian规则的学习算法,是Kohonen的自组织网络,self-organizing
map(SOM)。算法思路和你描述的动力过程很相似,而且公式非常简单。基本思路就是
,预先给出一个,比如二维的,单元网络连接结构,然后自动学习各个单元的“特征”
向量(任意高维的),最后得到一个二维的网络连接结构,表达了高维“特征”向量的
几何(距离)关系。实现这个的原理就是基于『cells that fire together, wire
together』的思想,邻近单元的“特征”向量同步地学习和更新。当然,其他还有很多
类似的学习算法。
【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
map(SOM)。算法思路和你描述的动力过程很相似,而且公式非常简单。基本思路就是
,预先给出一个,比如二维的,单元网络连接结构,然后自动学习各个单元的“特征”
向量(任意高维的),最后得到一个二维的网络连接结构,表达了高维“特征”向量的
几何(距离)关系。实现这个的原理就是基于『cells that fire together, wire
together』的思想,邻近单元的“特征”向量同步地学习和更新。当然,其他还有很多
类似的学习算法。
【在 T*****e 的大作中提到】
: 生物千老来请教大神heyes:
: 你提到Hebbian学习算法。这个正是(生物)神经塑性的一个基础模型。大神能不能简
: 单展开说两句在人工神经网络上Hebbian学习算法是个什么概念?
: 生物学中Hebb是个心理学家,但他写了一本牛书,预测神经网络如何建立。有一句后人
: 总结的名言:『cells that fire together, wire together』。就是说如果有A和B两
: 个神经细胞连接在一起,且存在A-》B的方向性。如果A细胞放电后,B细胞紧接着也放
: 电(先后次序和时间间隔非常重要),那么A-》B的连接会增强。反之,如果A放电没有
: 得到B细胞的响应(放电),那么AB之间的连接会变弱。A或者B放电代表了神经间的信
: 号,但是这种信号如何被保存下来并且改变整个网络结构(增强或者减弱神经之间的连
: 接),这是大脑学习和记忆的一个基本问题。Hebb大牛在没有实验的基础上早在1940年
S*8
37 楼
我也不是这个小众方向的只是略有耳闻,只知道当年是台湾人Chua搞的, 现在走在前
面的好像学术界是几个意大利人UCSD的M. Di Ventra 工业界是HP lab,搜搜他们最近的
文章吧
【在 T*****e 的大作中提到】
: 谢谢楼上的忆阻器!wiki百度一把,很有意思。Hebbian的模型大概确实是这么个意思
: 。看了很有启发。
: 再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
: 忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
: 及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
: 保留信息的改变(或者保存)。
: 谢谢!
面的好像学术界是几个意大利人UCSD的M. Di Ventra 工业界是HP lab,搜搜他们最近的
文章吧
【在 T*****e 的大作中提到】
: 谢谢楼上的忆阻器!wiki百度一把,很有意思。Hebbian的模型大概确实是这么个意思
: 。看了很有启发。
: 再问一点,有没有什么简单的电子元件或者模型(请原谅我完全外行的用词),由大量
: 忆阻器构成,然后可以记录信息。我比较想知道这个设计能达到什么样的复杂程度,以
: 及每一次电流以不同的方式(大小,方向)通过这个装置时,对各个部分的忆阻器之前
: 保留信息的改变(或者保存)。
: 谢谢!
h*s
38 楼
应该不是大hype,我个人非常倾向于Hebbian类的原理,简单“粗暴”但是很好用,哈!
就我知道的,深层BP现在基本就是用的预训练(非管理的)的技术,比如deep belief
nets. 还有就是CNN,通过高度有效地减少训练参数(复杂度)。“怎么一路发展过来
的”,你可以查查Geoff Hinton的文章,或者视频,比如这个:
https://www.youtube.com/watch?v=vShMxxqtDDs
【在 S****8 的大作中提到】
: 也有可能是个大hype哈哈哈, 大神你还没回答我前面的问题呢:-)
: (“要是能总结下现在BP到深层是用的哪些技术就好了,怎么一路发展过来的”)
就我知道的,深层BP现在基本就是用的预训练(非管理的)的技术,比如deep belief
nets. 还有就是CNN,通过高度有效地减少训练参数(复杂度)。“怎么一路发展过来
的”,你可以查查Geoff Hinton的文章,或者视频,比如这个:
https://www.youtube.com/watch?v=vShMxxqtDDs
【在 S****8 的大作中提到】
: 也有可能是个大hype哈哈哈, 大神你还没回答我前面的问题呢:-)
: (“要是能总结下现在BP到深层是用的哪些技术就好了,怎么一路发展过来的”)
i*t
39 楼
同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
能?就算仿造个大脑也没用,何况个算法乎。
如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
的么。
能?就算仿造个大脑也没用,何况个算法乎。
如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
的么。
h*s
40 楼
我所知道的,有试验数据、有具体结果的证据是,ImageNet的分类识别竞赛中,最有效
的算法都是基于卷积神经网络(CNN)的。在计算机视觉的很多问题里,基于卷积神经
网络的算法有广泛实用价值。
再比如,2007还是2008年,deep belief nets用到文本特征提取,分类效果远远好过很
多传统的线性特征提取算法。
当然,什么算法都是有局限的,有些常规算法在极其多的实用问题里足够用了,不必、
也不能用神经网络算法。但依据这个,毫无逻辑理由就否定上面问题里,神经网络算的
实用性和优越性。
至于你说,”用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类的么“
,我不清楚你是否有具体的证据支持这个说法。什么是”普通算法“的定义?至少随便
派脑袋想个heuristic的算法是不可能下好棋的。算法没有绝对高级、低级,能高效实
用、解决问题就是好算法。
【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。
的算法都是基于卷积神经网络(CNN)的。在计算机视觉的很多问题里,基于卷积神经
网络的算法有广泛实用价值。
再比如,2007还是2008年,deep belief nets用到文本特征提取,分类效果远远好过很
多传统的线性特征提取算法。
当然,什么算法都是有局限的,有些常规算法在极其多的实用问题里足够用了,不必、
也不能用神经网络算法。但依据这个,毫无逻辑理由就否定上面问题里,神经网络算的
实用性和优越性。
至于你说,”用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类的么“
,我不清楚你是否有具体的证据支持这个说法。什么是”普通算法“的定义?至少随便
派脑袋想个heuristic的算法是不可能下好棋的。算法没有绝对高级、低级,能高效实
用、解决问题就是好算法。
【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。
e*g
41 楼
Hinton每年提出一个新的神经网络学习的新思路,follow Hinton's work要慎重。
【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
【在 h***s 的大作中提到】
: 嗯,SVM和内核机,我编辑改过了。
: 基于梯度算法的学习,在理论上的问题是,当层数太多,BP到深层时,出现梯度消散或
: 不稳定的问题,这样不论学习快慢,各层之间的学习进度存在不匹配。这是个基本的理
: 论瓶颈,无法通过硬件速度来解决。
: 新的技术手段中,一个很有意思的思路是Hinton本人提出的:去年6月他在牛津做报告
: 时,提出了一个可能的途经,把BP和非实数值的神经脉冲传导联系起来。这个可能是一
: 个有意思的基础理论思路。从实际技术角度来说,非管理的非线性自编码器,如果能更
: 系统有效地,快速地提取特征(尤其低维),这个在当今大数据横行,有目标学习为主
: 的工业应用中,潜力无穷。这些都是我的个人观点,不见得对。
T*e
43 楼
需要时间消化各位的回复。
“思考的高级智能”这个在科学上其实并不容易准确的定义。猩猩能思考吗?我认为可
以。老鼠能思考吗?你可能会打个问号。我问你你认为一只蛆能思考吗?你可能觉得我
在胡扯。但事实是,蛆确实可以思考。它走的每一步都是神经计算的结果,不断的分析
大量的数据,对比左右两侧不同的温度,气味,光线强度等,做出抉择。这有很多研究
了,我也不细说。这就涉及到摄取信号,分析信号作出决定和释放信号(产生相应行为
)几个过程了。人在摄取信号时并不是全能的,其他生物能获得比人类更多的信号,比
如蝙蝠的超声波,比如响尾蛇的红外线。但是我们大概可以认为,人的大脑的复杂程度
可能是所有已知物种中最高的,所以可能分析计算能力有若干数量级的差别。
于是这就过渡到另外一个观点:生物体的神经计算能力的强大在于神经回路大规模的并
行计算从而忍耐高背景噪音,使得不那么精确和敏感的信号能被精确的分析并快速产生
结果控制复杂的行为。那么高度复杂的人类大脑是不是计算能力最强呢?这可能就是所
谓的高级智能。
引申一点:我很有兴趣知道一下你说的普通算法是否在真实的生物神经计算中存在。它
和神经网络之间的关系是什么?
EE的神经网络我是不懂,但是搞清楚人类是怎么思考的这一点,应该是非常有趣的。如
果不同学科间有相互借鉴的地方,那就太好啦。
【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。
“思考的高级智能”这个在科学上其实并不容易准确的定义。猩猩能思考吗?我认为可
以。老鼠能思考吗?你可能会打个问号。我问你你认为一只蛆能思考吗?你可能觉得我
在胡扯。但事实是,蛆确实可以思考。它走的每一步都是神经计算的结果,不断的分析
大量的数据,对比左右两侧不同的温度,气味,光线强度等,做出抉择。这有很多研究
了,我也不细说。这就涉及到摄取信号,分析信号作出决定和释放信号(产生相应行为
)几个过程了。人在摄取信号时并不是全能的,其他生物能获得比人类更多的信号,比
如蝙蝠的超声波,比如响尾蛇的红外线。但是我们大概可以认为,人的大脑的复杂程度
可能是所有已知物种中最高的,所以可能分析计算能力有若干数量级的差别。
于是这就过渡到另外一个观点:生物体的神经计算能力的强大在于神经回路大规模的并
行计算从而忍耐高背景噪音,使得不那么精确和敏感的信号能被精确的分析并快速产生
结果控制复杂的行为。那么高度复杂的人类大脑是不是计算能力最强呢?这可能就是所
谓的高级智能。
引申一点:我很有兴趣知道一下你说的普通算法是否在真实的生物神经计算中存在。它
和神经网络之间的关系是什么?
EE的神经网络我是不懂,但是搞清楚人类是怎么思考的这一点,应该是非常有趣的。如
果不同学科间有相互借鉴的地方,那就太好啦。
【在 i*****t 的大作中提到】
: 同样是大脑和神经,为啥只有人类有思考的高级智能?而其他生物只具有低级简单的智
: 能?就算仿造个大脑也没用,何况个算法乎。
: 如果不用神经网络,用其他普通算法的话,只要数据到一定程度,不是照样下棋赢人类
: 的么。
f*r
44 楼
深度神经网络远非昔日的MLP。大有可为。
这方面的paper都是nature、science。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
这方面的paper都是nature、science。
样?
【在 a****l 的大作中提到】
: 记得以前上学的时候,老师们提起神经网络的文章都是非常不屑的,似乎当时公认的就
: 是说神经网络就是一个已经被人用烂了的骗文章的伎俩,基本谁要写些什么水文,就是
: 套一个神经网络发个什么东西.
: 现在alphago真的广泛应用神经网络的算法,作出了非常大的成果,那么看来神经网络还
: 是有些作用的.这么以来我就有点搞不懂了,到底神经网络在工程上有没有用处?还是说
: alphago的用法和以前那些水文的用法是不同的?还是说现在的神经网络和以前的不一样?
: 谁对这方面比较了解的,是不是探讨一下?
相关阅读
人脑是FGPA还是ASICcanon 实习光成像硕士求工作实习推荐求Marvell firmware engineer onsite 面经请问AMD家的performance bonus target靠谱吗?BRCM openningintel 的 tool owner 累不累有谁会LabVIEW的,尤其做MEMS的solar cell转行收到springer 出版社editor review 新书章节邀请请问有人听说过UW-Madison这个学校吗?请教大家,Embedded Software Engineer哪里的工作机会比较多?求review, RF power amplifier 方面请教一个比较general的电子部件散热问题 (转载)问个自费选校的事,ee专业的master,SJSU,GWU,SIT (转载)How to detect 802.11 preamble?美国有“微机电系统工程”这个专业吗?Signal integrity 方向PhD暑期实习求内推!!!鱼与熊掌我挑哪个?intel PTD 招不招中国大陆来的F1学生?