avatar
图灵的神经网络# Programming - 葵花宝典
g*u
1
【 以下文字转载自 shopping 讨论区 】
发信人: guitu (鬼土), 信区: shopping
标 题: x220t 屏幕 漏光
发信站: BBS 未名空间站 (Tue May 24 10:50:10 2011, 美东)
是不是普通现象啊,能换不?
启动时候看得很不爽啊
avatar
c*v
2
一点浅见:
如果把密码技术看作一个具体的计算任务,似乎图灵之后的工作,都在universal
machinery computation领域。
对人的计算过程的思考和模拟,从一开始就是图灵的灵感来源。
图灵机的发明,我个人的理解是这样一个过程。
首先他用自然语言描述或者建模,一个一般性的人类,如何使用纸笔墨水计算。
然后,非常关键的一步,他使用代数这把刀,把这个具体的过程从自然语言里切割出来。
例如他并没有讲人是如何identify纸上的两个相同的符号x。他只是空想,未来有个机
器可以做到这一点,所以他的计算模型就认为这点不是问题。尽管那时候尚没有电子工
业。
所以我认为图灵是代数或者逻辑专家。思考问题的办法和分析家,以及几何学家不同。
在图灵完成universal Turing machine之后。他转向了寻找别的计算模型。
40年代,他提出了神经网络计算模型。这个网络的形状和大脑皮层的照片非常类似。
和早期的神经网络分类器有本质的不同。第一,这个网络非常复杂,是多层的。和大脑
皮层的照片很像。
第二,这个网络有回路,就是有反馈。也有自反馈。
这个网络的每个节点都有2个输入,类似于S表达式。每个节点都进行NAND计算。选择
NAND是因为NAND可以
得到其他的布尔操作。在提出基本的网络之后,图灵在网络之间的连接加入了布尔开关
,对这些布尔开关的状态改变,
他认为就是训练。(这一步是错的,因为NAND非常霸道,改了就变成OR然后就无法表示
所有的布尔操作)。
但是这个连接有开关的网络是可以训练的。
为了训练这个网络,图灵发明了遗传算法:
“There is the genetical or evolutionary search by which a combination of
genes is looked for, the criterion being survival value. The remarkable
success of this search confirms to some extent the idea that intellectual
activity consists mainly of various kinds of search”
这是对自然演化过程的第一个计算模拟的构想。如果说图灵机是对人用纸笔计算过程的
代数概括。那么
图灵提出的genetical or evolutionary就是对基因的自然选择过程的代数概括。
我猜测,在研发过程中,图灵的立场如下:
1。既然人的纸笔计算已经创造出了那么多奇迹。机器只要能模拟这个过程,就是一个
成功的机器。
如果不成功,那就是你没弄对。
2。既然自然演化已经显示了那么多成功。那么我们只要模拟这个过程,就可以制造出
一个成功的机器。
如果不成功,那就是没有弄对。
所以图灵在没有验证的情况下,明确指出,可训练神经网络是另一种universal 计算模
型。
这里有两个很遗憾的事情。第一是图灵的这个文章,1968年才发表。在之前各种低级的
神经网络模型已经被明斯基
一本书打死了。假如这个文章40年代发表。情况应该会很不一样。至少有loop的网路结
构会早一些被重视。
第二个事情是,图灵试图观察生命,而不是大脑,然后做一个代数或者逻辑切割,建立
人工生命为基础的计算系统。
然后他写了一些化学和生物的论文。最后自制毒药自杀了。
最后,现代神经网络的突破是以分析为基础的。只是最近几年dota,starcraft的AI比
赛加入了遗传算法选择网路结构的步骤。现有的遗传算法,其实我觉得没有完全弄对。
观察和理解生物的演化,仍然是可以得到新的计算方法灵感的。
关键的困难在于,写程序是很麻烦的事,Turing自己也犯了低级错误。
然而现在的资本世界,我认为本质上是尽全力阻止技术发展的。
资本竞争的关键在防守。也就是我无法突破没关系,不让别人突破才是关键。
avatar
L*y
3
似乎是通病

【 以下文字转载自 shopping 讨论区 】
发信人: guitu (鬼土), 信区: shopping
标 题: x220t 屏幕 漏光
发信站: BBS 未名空间站 (Tue May 24 10:50:10 2011, 美东)
是不是普通现象啊,能换不?
启动时候看得很不爽啊

【在 g***u 的大作中提到】
: 【 以下文字转载自 shopping 讨论区 】
: 发信人: guitu (鬼土), 信区: shopping
: 标 题: x220t 屏幕 漏光
: 发信站: BBS 未名空间站 (Tue May 24 10:50:10 2011, 美东)
: 是不是普通现象啊,能换不?
: 启动时候看得很不爽啊

avatar
c*v
4
我总结的,图灵的研究思路的三个方向。
1
既然人可以在纸上写各种公式,那么把纸笔这个具体过程向上抽象,lift up到上一层,
找到一个容纳了纸笔这个具体过程的form。
那么这个上面一层的form,如果弄对了,就是可以容纳一切纸笔类似的计算machine。
这是我们现在的计算机。
2
既然自然界里,生物可以一层层演化。那么把这个具体的演化向上抽象,
找到这个上面一层的form,这个form如果弄对了,就是可以容纳一切演化过程的超级计
算。现在的自然界演化是这个form里的一个实例。
3
既然生命有各种可能,那么把一个具体的生命向上演化抽象。找到这个上面一层的form,
这个form如果弄对了,那就是可以容纳一切生命的超级生命。现在的生命是这个form里的
一个具体的实例。
(每一层可以互相穿越。例如neural network演化,也是第一层的universal Turing
Machine。第三层的生物过程,可以定制出来一个自然数计算器。)
avatar
n*7
5
启动的时候比较明显,但是进去了没什么感觉
avatar
C*l
6
明斯基到底为啥被称为人工智能之父。提出了这个名字?

层,

【在 c*******v 的大作中提到】
: 我总结的,图灵的研究思路的三个方向。
: 1
: 既然人可以在纸上写各种公式,那么把纸笔这个具体过程向上抽象,lift up到上一层,
: 找到一个容纳了纸笔这个具体过程的form。
: 那么这个上面一层的form,如果弄对了,就是可以容纳一切纸笔类似的计算machine。
: 这是我们现在的计算机。
: 2
: 既然自然界里,生物可以一层层演化。那么把这个具体的演化向上抽象,
: 找到这个上面一层的form,这个form如果弄对了,就是可以容纳一切演化过程的超级计
: 算。现在的自然界演化是这个form里的一个实例。

avatar
n*7
7
不知道看电影会怎么样。
不过16:9应该没有黑边了,这算不算一个优势?
avatar
c*v
8
山头之间的斗争都是很残酷的。前面一波hype神经网络的大哥们,那也不是弱者,也有
很多资本进去的。今天连接主义出头了。也不能说明斯基就是错。
我的意思是,假如Turing的论文40年代就发表,可以少很多鸡毛鸭血。明斯基举的一些
反例都是对很简单的神经网络的。


: 明斯基到底为啥被称为人工智能之父。提出了这个名字?

: 层,



【在 C*****l 的大作中提到】
: 明斯基到底为啥被称为人工智能之父。提出了这个名字?
:
: 层,

avatar
j*w
9
关于自然界抽象层,有一个现象相当有意思,叫 emergence,大致意思是各个部分组成
的总体会呈现出单个个体没有的性质,这种性质可能来自各个部分的交互,也有可能来
自目前还不为人所知的机制。比如:
1 生命的组成部分是化学研究的分子,任何分子都没有生命,但是整体有;
2 粒子的一个基本特征是量子效应,但是由大量粒子组成的物体是稳定的;
3 神经元的基本功能是传递生物信号,但是大脑可以认知;
4 水滴在手上,你能感受到“湿”。但是湿这个概念不存在于水分子的层面。
如果没有这种生活中的经验,绝难想象得到从一个自然界抽象层往上走,接下来会得到
怎样的性质。没有理由认为我们所在的“宏观”世界就是抽象层之塔的顶部,那么再往
上走的会出现什么新的性质?
Stephen Wolfram 在他那本 A New Kind of Science 讲过类似的模式,但是实际上远
不如现实中的来得更加令人印象深刻。

层,

【在 c*******v 的大作中提到】
: 我总结的,图灵的研究思路的三个方向。
: 1
: 既然人可以在纸上写各种公式,那么把纸笔这个具体过程向上抽象,lift up到上一层,
: 找到一个容纳了纸笔这个具体过程的form。
: 那么这个上面一层的form,如果弄对了,就是可以容纳一切纸笔类似的计算machine。
: 这是我们现在的计算机。
: 2
: 既然自然界里,生物可以一层层演化。那么把这个具体的演化向上抽象,
: 找到这个上面一层的form,这个form如果弄对了,就是可以容纳一切演化过程的超级计
: 算。现在的自然界演化是这个form里的一个实例。

avatar
c*v
10
我20年前写过一个程序仿真干细胞发育。人的胚胎就是这样,最开始是没有组织的。
这里有个逻辑的circular。开始一个全同的细胞,又没有master node控制,为什么
最后出来都是5个肺页。5这个数字,这个信息的根源在哪里。仿真是可以做出来的。
后来文章发在日本一个机器人会议。关键的一点,解答这类问题的关键点在于,网络
需要一个时钟同步。我们那时候multi-agent AI是热点,也是凑个热度。
我不了解生物学家现在的知识是怎么讲的。但是我认为干细胞分化的过程,必定有时钟
或者别的同步机制。后来来美国我才看到图灵研究过这个问题。他的神经网络,就是说
婴儿的大脑皮层是unorganized machine。这个machine是universal的。
现今生物干细胞研究是由专门的伦理委员会控制的。属于鸡毛鸭血的重灾区。因为可以
把细胞培育成人工器官。

【在 j*****w 的大作中提到】
: 关于自然界抽象层,有一个现象相当有意思,叫 emergence,大致意思是各个部分组成
: 的总体会呈现出单个个体没有的性质,这种性质可能来自各个部分的交互,也有可能来
: 自目前还不为人所知的机制。比如:
: 1 生命的组成部分是化学研究的分子,任何分子都没有生命,但是整体有;
: 2 粒子的一个基本特征是量子效应,但是由大量粒子组成的物体是稳定的;
: 3 神经元的基本功能是传递生物信号,但是大脑可以认知;
: 4 水滴在手上,你能感受到“湿”。但是湿这个概念不存在于水分子的层面。
: 如果没有这种生活中的经验,绝难想象得到从一个自然界抽象层往上走,接下来会得到
: 怎样的性质。没有理由认为我们所在的“宏观”世界就是抽象层之塔的顶部,那么再往
: 上走的会出现什么新的性质?

avatar
j*w
11
》开始一个全同的细胞,又没有master node控制,为什么最后出来都是5个肺页。5这
个数字,这个信息的根源在哪里。
人有 30 亿个碱基对,全部信息都包含在这里。包括所有的形状,比如说 5 个肺叶什
么的,在什么时间节点上会发生什么事情。
遗憾的是,这 30 亿个碱基对目前是天书,只能读懂一点点。

【在 c*******v 的大作中提到】
: 我20年前写过一个程序仿真干细胞发育。人的胚胎就是这样,最开始是没有组织的。
: 这里有个逻辑的circular。开始一个全同的细胞,又没有master node控制,为什么
: 最后出来都是5个肺页。5这个数字,这个信息的根源在哪里。仿真是可以做出来的。
: 后来文章发在日本一个机器人会议。关键的一点,解答这类问题的关键点在于,网络
: 需要一个时钟同步。我们那时候multi-agent AI是热点,也是凑个热度。
: 我不了解生物学家现在的知识是怎么讲的。但是我认为干细胞分化的过程,必定有时钟
: 或者别的同步机制。后来来美国我才看到图灵研究过这个问题。他的神经网络,就是说
: 婴儿的大脑皮层是unorganized machine。这个machine是universal的。
: 现今生物干细胞研究是由专门的伦理委员会控制的。属于鸡毛鸭血的重灾区。因为可以
: 把细胞培育成人工器官。

avatar
c*v
12
这些东西跟宗教很有关系。非欧几何最开始发展,是有个屌丝,玩命的用反证法证明第
五公理。
积累了大量素材。世界上无数的宗教,都认为既有世界是一个大能创造出来的。他们的
立场不重要。
但是书里的技术手段我认为很重要。因为你要倒过来往回找form。有过去人描述的从
form到现实,也就是上帝造物作为参考,
是很重要的。
图灵往上可以lift出来一个form,或者容器,我个人的读后感,认为他从基督教的书得
到了很多
启发。他建模的出入路线,和圣经等著作更类似。不类同于儒家著作。
我没有查过。但是通过阅读,我基本可以肯定,图灵绝对不是无神论者。

【在 c*******v 的大作中提到】
: 我20年前写过一个程序仿真干细胞发育。人的胚胎就是这样,最开始是没有组织的。
: 这里有个逻辑的circular。开始一个全同的细胞,又没有master node控制,为什么
: 最后出来都是5个肺页。5这个数字,这个信息的根源在哪里。仿真是可以做出来的。
: 后来文章发在日本一个机器人会议。关键的一点,解答这类问题的关键点在于,网络
: 需要一个时钟同步。我们那时候multi-agent AI是热点,也是凑个热度。
: 我不了解生物学家现在的知识是怎么讲的。但是我认为干细胞分化的过程,必定有时钟
: 或者别的同步机制。后来来美国我才看到图灵研究过这个问题。他的神经网络,就是说
: 婴儿的大脑皮层是unorganized machine。这个machine是universal的。
: 现今生物干细胞研究是由专门的伦理委员会控制的。属于鸡毛鸭血的重灾区。因为可以
: 把细胞培育成人工器官。

avatar
c*v
13
这些细胞开始是一样的。后来自己互相组装,变成一个个不一样的细胞。
这个不一样是怎么出来的?这就是我说的circular的意思。其实答案很简单。
function call,有的call了2次,有的call了3次,数字就出来了。同样的函数。
但是一定要有时钟。这是我的猜测。

【在 j*****w 的大作中提到】
: 》开始一个全同的细胞,又没有master node控制,为什么最后出来都是5个肺页。5这
: 个数字,这个信息的根源在哪里。
: 人有 30 亿个碱基对,全部信息都包含在这里。包括所有的形状,比如说 5 个肺叶什
: 么的,在什么时间节点上会发生什么事情。
: 遗憾的是,这 30 亿个碱基对目前是天书,只能读懂一点点。

avatar
j*w
14
分子生物学上面有一个”基因表达“的概念:一个生物体内的基因,它可以表达,也可
以沉默。如果表达的话,那么它代表的性状就会呈现出来。
如果没记错,干细胞特化成组织细胞是在特定的时间控制特定的基因表达的结果。
但是基因表达的控制者是蛋白质,蛋白质又是由基因转录生成的...
这里面的机制极度复杂。

【在 c*******v 的大作中提到】
: 这些细胞开始是一样的。后来自己互相组装,变成一个个不一样的细胞。
: 这个不一样是怎么出来的?这就是我说的circular的意思。其实答案很简单。
: function call,有的call了2次,有的call了3次,数字就出来了。同样的函数。
: 但是一定要有时钟。这是我的猜测。

avatar
c*v
15
前几年有人做实验做出来了图灵的细胞分化理论。发的PNAS:
Alan Turing, in “The Chemical Basis of Morphogenesis” [Turing AM (1952)
Philos Trans R Soc Lond 237(641):37–72], described how, in circular arrays
of identical biological cells, diffusion can interact with chemical
reactions to generate up to six periodic spatiotemporal chemical structures.
Turing proposed that one of these structures, a stationary pattern with a
chemically determined wavelength, is responsible for differentiation. We
quantitatively test Turing’s ideas in a cellular chemical system consisting
of an emulsion of aqueous droplets containing the Belousov–Zhabotinsky
oscillatory chemical reactants, dispersed in oil, and demonstrate that
reaction-diffusion processes lead to chemical differentiation, which drives
physical morphogenesis in chemical cells. We observe five of the six
structures predicted by Turing. In 2D hexagonal arrays, a seventh structure
emerges, incompatible with Turing’s original model, which we explain by
modifying the theory to include heterogeneity.
这类东西和时间箭头也有关系。

【在 j*****w 的大作中提到】
: 分子生物学上面有一个”基因表达“的概念:一个生物体内的基因,它可以表达,也可
: 以沉默。如果表达的话,那么它代表的性状就会呈现出来。
: 如果没记错,干细胞特化成组织细胞是在特定的时间控制特定的基因表达的结果。
: 但是基因表达的控制者是蛋白质,蛋白质又是由基因转录生成的...
: 这里面的机制极度复杂。

avatar
j*w
16
所以你可以看到,这些碱基对并不是单纯的计算机意义上的数据,在某种意义上,它们
还是代码,可以执行来改变数据本身(基因->蛋白质->基因)。
每一个生物就是一台计算机。DNA 的计算和执行是个奇迹般的存在。

【在 j*****w 的大作中提到】
: 分子生物学上面有一个”基因表达“的概念:一个生物体内的基因,它可以表达,也可
: 以沉默。如果表达的话,那么它代表的性状就会呈现出来。
: 如果没记错,干细胞特化成组织细胞是在特定的时间控制特定的基因表达的结果。
: 但是基因表达的控制者是蛋白质,蛋白质又是由基因转录生成的...
: 这里面的机制极度复杂。

avatar
C*l
17
人类的计算能力还是太弱,目前全世界算力加起来只能simulate 80个粒子的量子行为
,而真实世界的计算能力是惊人的巨大,可以提供几乎无限的可能性。

【在 c*******v 的大作中提到】
: 这些细胞开始是一样的。后来自己互相组装,变成一个个不一样的细胞。
: 这个不一样是怎么出来的?这就是我说的circular的意思。其实答案很简单。
: function call,有的call了2次,有的call了3次,数字就出来了。同样的函数。
: 但是一定要有时钟。这是我的猜测。

avatar
j*w
18
图灵对这方面也有贡献,牛。

arrays
structures.
consisting

【在 c*******v 的大作中提到】
: 前几年有人做实验做出来了图灵的细胞分化理论。发的PNAS:
: Alan Turing, in “The Chemical Basis of Morphogenesis” [Turing AM (1952)
: Philos Trans R Soc Lond 237(641):37–72], described how, in circular arrays
: of identical biological cells, diffusion can interact with chemical
: reactions to generate up to six periodic spatiotemporal chemical structures.
: Turing proposed that one of these structures, a stationary pattern with a
: chemically determined wavelength, is responsible for differentiation. We
: quantitatively test Turing’s ideas in a cellular chemical system consisting
: of an emulsion of aqueous droplets containing the Belousov–Zhabotinsky
: oscillatory chemical reactants, dispersed in oil, and demonstrate that

avatar
j*w
19
有些搞计算机的人喜欢搞数据即代码,代码即数据。
DNA 就是生物计算机上面的代码和数据,轻松切换无压力。
avatar
c*v
20
图灵自杀吃的还是自制的毒药。
也有人说他是化学事故自己毒死了。
这化学还不如不学。

【在 j*****w 的大作中提到】
: 图灵对这方面也有贡献,牛。
:
: arrays
: structures.
: consisting

avatar
C*l
21
现在的条件比图灵好多了,深学网络结构方面还有巨大的空间可以探索,而且大脑网络
的层级似乎远大于ANN。很奇怪的是神经科学角度,竟然没有什么insight。

来。

【在 c*******v 的大作中提到】
: 一点浅见:
: 如果把密码技术看作一个具体的计算任务,似乎图灵之后的工作,都在universal
: machinery computation领域。
: 对人的计算过程的思考和模拟,从一开始就是图灵的灵感来源。
: 图灵机的发明,我个人的理解是这样一个过程。
: 首先他用自然语言描述或者建模,一个一般性的人类,如何使用纸笔墨水计算。
: 然后,非常关键的一步,他使用代数这把刀,把这个具体的过程从自然语言里切割出来。
: 例如他并没有讲人是如何identify纸上的两个相同的符号x。他只是空想,未来有个机
: 器可以做到这一点,所以他的计算模型就认为这点不是问题。尽管那时候尚没有电子工
: 业。

avatar
L*8
22
神经科学用DNN来灌水

【在 C*****l 的大作中提到】
: 现在的条件比图灵好多了,深学网络结构方面还有巨大的空间可以探索,而且大脑网络
: 的层级似乎远大于ANN。很奇怪的是神经科学角度,竟然没有什么insight。
:
: 来。

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。