之前几年或者多年,我在本版聊过几点浅见。 一是universal turing machine 我抽屉里有一本2000年买的本科生教材。计算理论基础。harry R Lewis写的。5。2节 第一段: " In other words, we shall be thinking of the formalism of Turing machines as a programming language, in which we can write programs. Programs written in this language can then be interpreted by a universal Turing machine----that is to say, another program in the same language. " 二是这个trick在什么地方? Self Interpret的技术在Kenneth Thompson的图灵奖lecture有一段描述。 这个讲座以前我引用过. 其实就是C语言的\n 和 \ \n . [老邢这个垃圾站。两个斜杠n要写成4个] 他说: "This is a deep concept. It is as close to a "learning" program as I have seen. " 三, Science. 1995 Apr 28;268(5210):545-8. H. T. Siegelmann Computation Beyond the Turing Limit一文说,886个节点的RNN就可以计算全部 partial recursive function。 简单说,有理数权重的RNN足够模拟所有Turing Machine的行为,而且是up to多项式时 间。 ------------------------------------------------------------------------ 那么综合这几点,我觉得Universal Neural Network或者说NN language也就差一步了。 程序用UNN写的好处是显而易见的:能对程序求小扰动,做局部优化。 图灵机是不能错0,1的。 但这个问题没有被广泛重视。简单说,现在ANN的分析方面是显学。多数是EE的办法。 代数方面,或者说CS方面反而做的不多。 我这里说的当然不是universal approximation theorem. ------------------------------------------------------------------------