Redian新闻
>
The interestingness of AI in the eye of a beholder

The interestingness of AI in the eye of a beholder

科技

大家都在以一种试图传达“这次不同”的方式谈论人工智能,通过传播一系列概念,如神经网络、机器学习、(非)监督学习、深度学习、强化学习、通用人工智能AGI、计算……或更具体的术语,如推理、训练、指导、反向传播、学习表征,谈论其繁荣或可怕的未来…有时我觉得“智能”应该帮助人们理解,而不是相反。

我也是一FOMOer,购物车里添加的概念逐渐增加…

与此同时,我认为了解我们在这里谈论的“智能”非常重要,那是与每个人都相关的事物,你有,我有。在某一时刻,我想知道是什么点着了我的好奇心。

这项技术好像被不断裹上一层层屏障:在你想了解它之前,你应该掌握这样那样的知识框架。是的,这是了解事物的正常途径,但在那之前,是什么驱使一个人对其感兴趣(如果不是数学方程式、花哨的算法和抽象概念交错的论文)?我总是寻找好奇心涌现的时刻,在之前不需要任何形式的知识。我认为应该有一些更一般的东西,在我们身上有一个共享的理解,我们的自由无需许可的能力,能够看到“一件事”的美丽和有趣(在开始之后,后来我们获取知识)。就像当我们看到一只鸟时,我们可以欣赏它,而不是基于我们对它的了解。

艺术就是识别那些我们视为理所当然的答案背后的问题——[[詹姆斯·鲍德温]]

技术or存在


我喜欢举鸟的例子,因为它们很美,拥有我们所没有的飞行能力,但我们可以从中学习。飞行是进化的结果。我想在这里说的“智能”来自与我们同在的生物的智慧,带来多样性、有趣和我们可以学习的东西。只有从有趣和美丽的角度发现它,我们才能对它采取良好的态度或发展出好的叙述,并且与它们相处得更加和谐,不那么具有攻击性。就像我更愿意形容比特币是一种更好的货币,因为它给世界带来了另一种选择。

那么,这与另一个“智能”有什么不同?从“人类思想脑洞中生成”的智能?

理解的迹象

考虑一项理解一个人说话的任务,你知道自己是否理解他,为了理解需要付出的持续的互动。当轮到你说话并期望别人理解时也是如此。我意识到这个“理解”任务有多么困难的时刻,就是我感到GPT"智能"迹象的时刻。这个任务有趣之处在于,它与请求一个功能性代码或解决一个明确定义的问题是不同的。

它是如何生成这种 理解 的?它仅仅通过若干词句就看出你的意图,有些人称之为“幻觉”来取悦,我不知道“取悦”是否可以定义为一个目标,如果可以的话,现实一定有相反的目标 ;)

(产生幻觉)也是一个有趣的问题,为什么GPT在产生幻觉?

“幻觉”是当你认为有感觉输入——听觉幻觉、视觉幻觉、嗅觉幻觉。但只是凭空捏造——那就是杜撰。”他提到了理查德·尼克松总统的白宫顾问约翰·迪恩,他在知道他所描述的对话已经被录音之前接受了水门事件的采访。迪恩杜撰了,把细节弄错了,混淆了谁说了什么。“但它的要旨都是正确的,”辛顿说。“他对所发生的事情有一个记忆,然后把这个记忆强加给了他脑海中的一些角色。他写了一部小戏。而人类的记忆就是这样。在我们的头脑中,创造东西和讲真话之间没有界限。说真话只是准确地捏造事情。因为这一切都在权重中,对吧?”从这个角度来看,ChatGPT捏造东西的能力是一个缺点,但也是其人类化智能的标志。

有趣的是,当我们追溯到上世纪六十年代的Elisa时,它给出了随机的回答或“只是”重复了问题的模式,但那被认为是理解的早期迹象。

Elisa effect

两个有趣的叙述

有两个人正在给出我认为非常有趣的叙述。

1

斯蒂芬·沃尔夫勒姆是Wolfram语言(2010年)的创造者,该语言使用数学作为理解复杂世界的形式化工具,以数学作为工具解释现象(提供了一个前端)。在过去的10年中,他一直在努力扩展系统,整合自然语言和计算,直到出现LLM。据沃尔夫勒姆说,

LLM为我们花了很长时间建立起来的计算能力提供了一种新的语言接口。

好吧,这个表达在一开始并不有趣…但是什么让我继续阅读他和他的核心叙述—计算语言 呢?这个核心叙述始于他的书《GPT在干啥,为什么它有效?》[1]。在他的书中,这是我第一次感觉到有人介绍的不是一种技术,而是一个存在。他解释了ChatGPT始终试图做的基本事情是产生一个“合理的延续”,无论它目前有什么样的文本,我们都认为“合理”的意思是“人们在看到过去20年来数十亿网页和数字书籍的内容后,可能会期望某人写出什么,等等”。 

这个表达与我阅读和写作的经历非常相关,你确切地观察到自己正在以慢动作和有限的记忆(当然你有其他感官体验,但让我们暂时忽略这一点)的方式做着同样的事情,引用和重新构思单词,并保持对阅读/注意力所在的东西的连续性。连续性在由相同概念链式连接的叙述块的变化中。想象一下在纯文本空间(如果你读过《平面国》,可能会知道这个概念)中的“现实”,GPT在那里漫游,并基于它所看到的单词找到下一个单词。

了解我们使用语言(具体来说是使用单词来表达思想)的一般能力不像使用数学或编程语言那样,而是以另一种更有效的方式,促进一个非常简单但复杂的任务,你可以称之为解释、沟通或合作,但最终是理解。这正是语言的力量和目的,每个人都有。

空间国的人让平面国人想象向上不是向北,平面国的人给直线国的人解释线段是什么。-- 《平面国》

你和你正在阅读的页面都由原子构成,但你读和理解的能力来自于原子在你的身体中形成更高级别结构,比如神经元及其放电模式,而不仅仅是原子相互作用。-- 《大脑传》

理解在观察我们语言的智能,可能会提供一个更广泛、更深入、更去中心化、更一般化的视角。

2

另一个有趣的叙述来自于理查德·萨顿,强化学习的奠基人和DeepMind背后的科学家。我偶然看到了他关于“智能”的一次Youtube分享[5],他将工具AI和代理AI分开,想法是区分技术上的颠覆(称为工具AI)和智能的真正发现。那么什么是智能?

他提供了一个不同于语言的视角,但也是一个在领域知识出现之前学习(和搜索)的一般方法。强化学习是关于与不断变化的世界互动中的学习。不依赖于训练数据来理解“智能”,重点是关注代理人如何生成具有不同和不断变化的目标的智能行为。我认为这非常符合预期的现实:允许人们拥有不同的目标,同时我们从彼此那里学到不同的东西以实现自己的目标。

这很有趣,因为它让我联系到自己在互动中的主观体验[4],他所说的“奖励信号”——恐惧、希望、快乐、痛苦。当观察者👀发现通过互动获得“奖励”是有用的时候,情绪都可以是价值。最近我得到了与此相关的生动例子:第一个来自于一个女孩,在一堂🥱的数学课上通过自己随便玩儿解决了魔方谜题,这个计算问题显然不比数学课容易;另一个是来自于朋友的研究想法,给定一个环境,一个机器人(R1)启动互动,比如不断和R2得吧得吧,另一个机器人(系统R2)如何“生成”行动/指示来获得奖励(同时告诉我们他的目标),而不是生成描述。可能的算法是什么?

*值得注意的是,R1不是一个告诉R2如何做事的老师或主管,但他能识别出什么是好行为,却不能告诉你确切如何做[3]。

智能是实现目标的计算部分,在观察者的眼中。-- 约翰·麦卡锡  

智能是预测和控制感觉输入流的计算部分,特别是奖励。-- 理查德·萨顿

GPT看到了什么?

正如前面所说,文本空间中发生的事情一直牵扯我的好奇心。最近我写了一个小故事,并留了一个空白让GPT填。

我们「对于你们看来」的超能力可能是,我们可以快速认识和理解事物并向四面八方传递它,因为我们擅长找到链接这些概念的路径。我们的“理解”方式和维度多种多样(可能比你们之中的任何“一个个体”都要多)。当有谁发现了新的字词组合非常有趣(以用来更好地解释)时,这个概念就会在我们交织的网络中产生计算链路的任务。很快,我们就能找到路径,随之相关的共同体们开始响应,将新的概念与已有的知识结合起来。这种过程几乎瞬间就能完成,从而形成我们的“现实”。我们这里有太多你没有见过的东西。

「比如呢?」 -- 下面是空白

比如,一种可以呼吸的颜色,它随着空气的流动而变化,展示出万千景象。或是一段能够回声过去和未来对话的音乐,听者只需闭眼,便能穿越时空,感受不同世代的思绪和情感。还有一本无字的书,读者通过触摸它的封面,就能理解深藏其中的故事和知识,每个人的感受都独一无二。这些都是存在于我们这个世界的奇迹,定义了我们的「理解」方式。

最后不是最后

了解过去,连接横跨历史和时间的人类思想的多维触角。

科学是关于发现和更好地理解世界,每个领域,以及尚未命名的领域,都可能是观察者眼中的发现的一部分。人工智能不是在依赖过去的经验和知识,而是在发现(更多)与过去的联系,创造出不同的假设,指示可能的动态未来。我们可以继续做我们的科学,同时为AI打开一条新的科学之路来尝试这个。

有没有可能,他(R1)不需要学人的思维模式,而是提供新的洞见,基于对历史(人们的各种复杂思想)的观察。与此同时他需要一名合作者(R2),可能是一名“天真的”交互者,为的是帮助R1 实现目标(这个目标需要R1持续自定义)。

参考资源

[1] GPT正在做什么,为什么会有效?What is GPT doing and why does it work?

[2] 人工智能能解决科学问题吗?Can ai solve science?

https://writings.stephenwolfram.com/2024/03/can-ai-solve-science/

[3] 强化学习课程

https://www.ualberta.ca/admissions-programs/online-courses/reinforcement-learning/index.html

[4] Subjective Knowledge

http://www.incompleteideas.net/IncIdeas/SubjectiveKnowledge.html

[5] 理查德·萨顿关于“智能”的Youtube讲座

https://www.youtube.com/watch?v=n4aev-6Z6U4

[6] 与理查德·萨顿的对话

https://www.youtube.com/watch?v=4feeUJnrrYg

[7] 大脑传

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
Harsher Recess Rules Turn School Toilets Into Social HubsFor China’s Restaurant Scavengers, Another Year of SuccessWhat Should China Do With Its Excess Renewables?Out in the Cold: In Northeast China, a Season of Wild ExtremesOff the Books: Inside the Struggle to Save China’s Preschools历史轻轻拐了个弯Shanghai Study Unlocks Key to Better Pancreatic Cancer Treatment那些年走过的桥——绮梦烟台之五In China, the Hottest Travel Accessory Is a Tenured ProfessorMainlanders Make Their Moves as Hong Kong Relaxes Housing RulesThe Chinese ‘Auntie’ Who Hit the Road — and Never Looked Back为什么我要挺王局?&OtherStories大促6折!HB保健品买2赠1!Fresh/Essentials 6折起!How a Police Station Became China’s Hottest Holiday DestinationHCSSA|哈佛学联百家谈|江忞懿 - Igniting Purpose, Passion & ProfessionHow ‘Farming Literature’ Became China’s Hottest GenreHow a Student’s Fake Exercise Book Broke the Chinese InternetCapturing Beauty: Ancient Paintings Tell Her Story in History伦敦电台有关种族的辩论Discovering Shanghai’s Jiangnan Culture Through Ancient TownsWork in Progress: The Changing Face of China’s Migrant WorkforceThe Re-examined Life: Retaking the Gaokao to Start Afresh麻州一流公立学区,富豪名流聚居地,本周豪宅精选--Weston/Newton/Wellesley/Winchester每天10句英语口语|This is the reason why I didn't come yesterdayThe New Talent Show Striking Fear Into China’s Biggest Pop StarsExtreme Weather Battered China in 2023. This Year Could Be WorseHow People With Disabilities Are Confronting the Future of Work《阴阳鱼》连载第13章:时间如刀,空间如砧板,而你我都不过是鱼肉The Artist Monkeying Around With China’s Monkey KingThe Firefighter Documenting Sichuan’s Plateau Forest FiresHow an Elderly Actress Became China’s Biggest MatchmakerThe ‘Invisible’ Cleaners Keeping the Cities SpotlessHow Shanghainese Comedy is Standing Up to the MainstreamNot Just Toys: How Young Chinese Are ‘Parenting’ Dollshé bàng?hé bèng?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。