Redian新闻
>
人工智能本来是个很简单的事,咋被人们整的这么神秘?

人工智能本来是个很简单的事,咋被人们整的这么神秘?

公众号新闻



作者:吕建伟

来源:阿朱说(ID:azhushuo

(1)

很多人以为大模型的参数量大是因为数据多。

其实大模型的参数量和超参数的配置相关。主要的超参数有下面几个:

词表大小:Vocab_Size
最大位置编码大小:Max_Position_embeddings
隐层节点数大小:Hidden_Size
隐层数:Num_Hidden_Layer

注意力头数:Num_Attention_Heads

这些都在每个模型的配置文件中(一般都是Config.json)

很多人连大模型的原理都不知道,既不看论文,也不看源代码,就一顿胡诌啥大模型,瞎幻想。

(2)

很多人以为大模型聪明是因为数据量大。

其实数据量大并不能决定大模型有多聪明。

海量的、高质量的这些咱们人类产生的数据(如人写的文章、人拍的照片、人设计的视频),其价值就是让模型通过最大概率统计自动地得到结构性的特征标签,免去咱们人类对数据进行特征手工标注,就这个价值。

你再想想一个异曲同工的事:咱们搞企业信息化,不就是业务活动在现实里发生了,录入员在自己脑子里回忆了回忆、思考了思考,然后按照屏幕上的结构性的离散字段一个个录入,就特征表示了这个物理世界发生的连续的业务活动。本质上,这个录入员录入字段,其实就是在做数据的特征手工标注。

(3)

很多人以为大模型之所以聪明,就是因为它模仿了人的大脑结构。这有点像中国人老爱蛇蛇蝎蝎搞的所谓的:以形补形。

其实大模型的结构和人的大脑结构、大模型使用的神经网络结构和人的大脑中的神经网络结构,根本长得不一样,就是用了同一个名字,结构根本没啥相似性。

很多人对ChatGPT能像咱们日常人一样理解、回答,感觉很神奇。其实这有啥神奇啊,不就是因为ChatGPT是大量的人工专家进行了四道Post PreTrain Fine-Tuning、Prompt-Tuning、Instruction-Tuning、RLHF么,它当然像人了啊,因为它就是人工调的嘛。

(4)

很多人对中国人蛇蛇蝎蝎搞的所谓针灸、点穴、经络很神奇。其实这有啥神奇啊。

神经系统本质就是个人体信息高速公路,用生物电进行信息传输,道理和咱们家使用的上网光纤一个原理。

你所谓的猛击一下点穴或者针灸,不外乎就是阻断神经毛细,所以信息无法做到下行和上行畅通,所以大脑指挥和躯干反馈进行了分离。

(5)

很多人对做梦也觉得很神奇。其实这有啥神奇啊。

大脑前额本质就是个非常快速处理但容量较小的内存。你天天接受外界的信息,到了晚上就得腾清,从热存储转移到冷存储上。

有些信息是你天天日常接受的,那就不再重复转移,而是给你天天日常使用的信息不断一票票加权重,这和搜索引擎的Page Rank是一个道理。

有些信息是新的信息,大脑会把新的信息和老的信息做相似度度量,根据度量进行自动分类或聚类,然后进行新老信息链接,这也和搜索引擎或者和全连接网络很相似。

如果有些信息对于你来说太新太陌生,你的大脑怎么也无法和你已经存在的信息做链接,大脑这时候就开始使坏了。要么你的大脑太笨,它就扔掉了这个信息,所以你经历过一些新事但是忘记了,本质就是这个。或者你的大脑不太笨,它就开始瞎编造,根据信息相似度进行硬怼硬连接,这时候就是你的做梦,你在梦境中会感觉这个场景既熟悉又陌生,本质就是这样。所以大家现在看到大模型胡编乱造,其原理和做梦一个道理。

(6)

很多人惊叹要到科幻电影终结者的时代呀。而且把人类自己想象定义的蛇蛇蝎蝎的一些概念也迁移到了大模型身上,比如什么:理解、逻辑、推理、顿悟、涌现...。

这都是什么脑子啊。

我曾经在知乎上看过一段,我给copy过来,原理其实很简单:

记忆是一阶从原始数据到表征数据的相关性连接。

推理规则和推理方法本身是二阶记忆内部的相关性连接.

小规模模型在二阶链接上的密度是稀疏的,特定大规模建模可以在二阶连接上超过50%,形成具有连通性的通路,就形成了似乎具备推理能力。

过去所谓的逻辑和原理都是人通过先验知识赋予的似乎不证自明的假设,但是在LLM中,这部分是可以产生的,当然需要正确的调教方法。这挑战了人类几百年来认为是不可动摇的归纳和演绎方法,现在看来归纳和演绎规则并非真正原理,这些其实都是可以解释和可以构造的。

总结一下,就是过去的调教和模型规模,导致其在高阶连接上是稀疏的,而GPT3.5以后高阶相关性的密度达到了全局性联通的边界。所以GPT让人产生了其可以逻辑推理和长程对话的感觉,这是一种表征而已。侧面证明了人类崇拜几千年的逻辑、公理、假设、真理、意义这类东西其实都是语言层面的,不过是形而上学。

所以,把原理本质讲透了,很多事情本来很简单。但你不打破砂锅问到底老想囫囵吞枣,那就容易蛇蛇蝎蝎形成神化、崇拜化。

版权声明:部分文章推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
英国请愿持BRP卡免签去申根国!英国大量雇员被人工智能取代​!英女王葬礼花费1.6亿镑…就连人工智能也建议暂时回避人工智能股票人工智能立法提上日程:兼顾安全与发展,为人工智能治理打下框架性基础突爆!人工智能开始诈骗人类!最可怕的事发生了!这样的餐饮企业,不会被人工智能打败周三会员讨论日子何必过得繁杂、复杂?我就喜欢简单的生活、简单的人。在欧美,房子随时可能被抢走,这个法律本来是良法,为什么变成了恶法?醋酸钠林格液,看似简单的液体并不简单!如何让下一代不被人工智能取代?管理很简单,就是把简单的常识做到极致本来以为彻底没戏了的事,硬生生被我搞定了 | 独家定制白羊座的成长从来都不是一件简单的事情张雪峰说过最对的话:学习是你这辈子做过的最简单的事情了讲座预告 | 做好这几件事,留美,其实很简单 !You Belong With Me人工智能或将帮助硅谷迎来“奇点”时刻!马斯克向宇宙进一步探索,全新技术应用将超乎人们想象马斯克2023年世界人工智能大会演讲:我相信,中国会有很强的人工智能能力!(附视频&演讲稿)被人工智能鄙视的我的一生人工智能领域的这13人,即将改变未来我的事,别人的事,上帝的事……盘点四大技术板块,洞察百项人工智能开源项目——InfoQ研究中心带你探秘中国人工智能开源领域ChatGPT的这个弱点,说明人与人工智能没有本质的区别$1.2B Tran stood firm: “Hot sauce must be hot. We don’t make may一个世纪以来第二次被人目击!加州居然还藏着这么神秘又可爱的动物?李猛丨学术界非常复杂,但学术还是最简单的事情近八成美国女性职位可能被人工智能替代深度 I 近八成职业女性或将被人工智能颠覆8888个现金红包!更有神秘人工智能“大礼包”等你来赢取!里斯本圣尼古拉斯教堂(Igreja de S?o Nicolau),13 世纪教堂俄乌战争,美国也是输家智能革命:人工智能、机器学习、生物 学习和智能材料的合力这篇本来是好看的日落知圈专栏 | 人工智能的“智能”是什么?— 智能的原理(上)互联网本来很简单,但为啥人们看的那么复杂
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。