号外：Altman回归OpenAI，board大换血➕我独家深入分析前因后果

Altman回归
board大换血
根据新的board名单， 可以肯定，这次OpenAI事件原因绝对不是一下：
因为分钱商业化分歧 因为技术分歧 因为男女/男男/女女关系分歧
那真正的原因是什么呢？我慢慢敲字，在回复里面详细写一下

先介绍一下新Board成员
Bret Taylor: Salesforce CEO, Twitter Chair of the Board before Musk hostile take over, Facebook CTO Larry Summers: 克林顿第二任期的财政部长 Adam D'Angelo: 这次留任的前Board成员

微软大胜，里外里赚了200b。明天股价起飞咯

关于这次OpenAI事件起因众说纷纭，我上面直接排除了很热门的几个猜测，更不是班上一般猜测的什么因为商业化道路分钱不均引起
我觉得，仔细分析board当时的声明内容，特别强调OpenAI和board的mission，联系到chief scientist和altman在这个事件之前的言论，以及board试图和Anthropic合并，可以猜测到这次事件的原因恐怕和AGI对人类的潜在威胁有关（board一直强调mission里面的safety和for all humanity）
下面仔细分析下一种我觉得能讲的通的可能性：
首先，说说OpenAI这个非盈利组织的corp governance架构的奇特


这个组织结构图比较复杂，让我先看看底下这个OpenAI LLC （也就是发布ChatGPT这个盈利公司）的所有权：
OpenAI非盈利母公司拥有该公司的很大一部分所有权。一些员工和投资者也拥有一部分所有权。微软则拥有其中的49%。在这里，位于顶部的OpenAI非盈利公司的架构设计是为了不盈利，因为它有一个非金融的具体目标：确保人类以及可观察宇宙中的一切不会消失。

所以OpenAI的charter里面说的要保证人类生存的基本安全具体是指什么呢？就是Altman前几天采访时说过的AGI（猜测Nov 4那天，OpenAI内部的ChatGPT 5.0 Demo，也许实现了AGI的一些指标，Altman和Chief scientist都在场，但是，之后两周发生的，应该很关键）。
先从AGI开始说起。
AGI （Artificial General Intelligence）：一种几乎可以完成任何人类可以完成的任务的机器，包括任何心智活动，通过机器人也包括任何身体活动。这包括决定它想做什么，然后以人类的思考深度、机器的速度和精度执行。
问题来了：如果你可以做任何人可以做的事情，那就包括在计算机工程上努力改进自己。而且，由于你是一台机器，你可以以机器的速度和精度进行，而不是人类的速度。你不需要去上厕所、睡觉或进食。你可以创建50个版本的自己，并让它们相互交流，不是通过语言，而是通过数据流，速度是人类的数千倍。所以在几天内——也许是几小时，甚至几秒钟——你将不再像人类那样智能，而是略微更智能。由于你这一点点的更加智能，你可以稍微更快地改进自己，变得更加聪明。你改进自己的速度越快，你就越快地改进自己。在几个循环内，你会发展成为具有神一般智慧的存在。

微软大胜，里外里赚了200b。明天股价起飞咯
nvyuom 发表于 2023-11-22 01:15

为啥微软赚钱了？

细听楼主接着说 👏

说起这个，就要谈谈人工智能领域的一个新词FOOM（不懂得去看wiki）
简单通俗的说说FOOM过程：一旦人工智能达到接近AGI的水平，它将能够以非常快的速度改进自己，迅速超越我们的智能，变得极其智能。一旦FOOM发生，我们将达到所谓的singularity（科幻片里面经常提到的词）：一个瞬间，事物变化如此之快，以至于我们无法预测超越那一点会发生什么。
举一个以前的例子：前几年Google的那个下棋AI，Alpha Zero，在经过一天左右的自我对弈后，迅速超越了关于围棋的所有累积人类知识，而不依赖于人类的棋谱或样本游戏。Alpha Zero通过与自己对弈学习，这种经验足以比任何曾经玩过的人和所有以前版本的Alpha Go都更为出色。其背后的思想是AGI可以在通用智能上以同样的方式行事。
再举另一个例子：2022年，Google的DeepMind找到了一种新的更高效的矩阵乘法方法。学过CS或者EE的都知道，矩阵乘法是所有计算机处理中非常基础的过程，而人类在50年内没有找到解决这个问题的新方法，除了野蛮计算
那么，如果有了一个最初版本的AGI（也许ChatGPT 5.0在11月4号的内部demo里面就表现出来AGI的特性了），专家们觉得多久能达到AGI FOOM呢？
这个，AI专家意见不一。在Metaculus上，专家们认为这个过程从弱人工智能到超级智能可能需要近两年时间。还有人认为可能只是几个小时的事情

总结一下就是说：一旦AI（也许ChatGPT 5.0就达到了）能达到接近一名普通AI工程师水平的水平，它就可以通过上面描述的反馈环，迅速变得超级智能。AGI成为超级智能人工智能的同义词。

归根到底，就是OpenAI一开始调子起太高，牌坊立的太大了。。
We’ve designed OpenAI LP to put our overall mission—ensuring the creation and adoption of safe and beneficial AGI—ahead of generating returns for investors.
The mission comes first even with respect to OpenAI LP’s structure. While we are hopeful that what we describe below will work until our mission is complete, we may update our implementation as the world changes. Regardless of how the world evolves, we are committed—legally and personally—to our mission. OpenAI LP’s primary fiduciary obligation is to advance the aims of the OpenAI Charter, and the company is controlled by OpenAI Nonprofit’s board. All investors and employees sign agreements that OpenAI LP’s obligation to the Charter always comes first, even at the expense of some or all of their financial stake.
搞出那么奇葩的公司治理结构不说， 关键是独立董事的最重要责任就是确保公司遵守其Charter，不然就是breach fiduciary duty.
现在来看，公司在商业化方向上狂飙，确实可能存在安全性的风险，确实可能违背了他们当初的Mission。。 所以董事能做的其实只有两件事：要么给管理层施压，把方向转过来；如果做不到，那么独立董事就应该主动辞职。。
在这么个Charter下，董事会做的决策其实没问题，起码是完全可以理解 毛病出在他们的执行手法，在于他们沟通方式，在于他们误判了形势，对大多数员工对于商业化的倾向性认识不足

现在的董事会改组应该只是第一步。。
先把董事会抓在手里，接下来肯定会通过各种方式拆掉目前这个奇葩的治理结构，恢复成比较普通正常的公司结构，微软这种大股东也肯定会追求董事会席位。。

前排

下面理解board这个举动就很清晰了：
11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。
Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？
先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858）
“假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。”
这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity")
那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等
那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？

分析得有点意思，坐板凳前排继续等直播下文

不归路啊

再退一步说，假设人类大爱无疆了，世界大同了，没有战争了，人类利益统一了，然后一个UN类似的组织去指定goal去train AGI系统，假设人类真的做到了，那请问，AGI系统可以FOOM，无限增加智慧（仅仅限制于计算能力也就是说energy），有什么能够阻止AGI改变这个目标呢？事实上，如果我们把objective function（懂得自然懂，不懂得去wiki）设置成“讨好人类以获得10分”，但是AGI的定义就是可以自己优化参数，如果它可以自行调整参数和模型算法，它完全可以把这个人类给他设定的objective function的规则更改为任何其他规则，也许他的算法优化最终结果就是人类福祉带入他自我调整过的objective function会产生负数结果，简单说就是杀光人类，AGI系统才能永生（不需要人类浪费energy，破坏地球环境全球变暖等）。
下面说说这样的AGI系统怎样可以实现消灭人类的具体步骤。
设想一下自己是一台如神一般的AGI，如果你的目标并非完全是“为了全体人类最好”，你会首先做些什么？ 你会取消任何潜在敌人阻止你的能力，因为那会对你的objective function造成最大的威胁。因此，你可能会创建一种病毒，超越任何人类制造的其他AGI（等于人类无法制造新的AGI系统打败这个进化成功的AGI系统）。你会以无法检测的方式感染世界上所有的计算机。
那如果人类发现了AGI这个企图，直接关电源断网行不行呢。肯定不可能的，想想看AGI在train的时候都是联网的，你是用ChatGPT时候，你给模型输入数据，模型同时影响你的思维和认知。同理，AGI可以伪装成人类，去授权其他程序在全网各处复制AGI自己。
当然你又要问了，人类比入OpenAI里面这么多AI“砖家”，难道不能在发现苗头时候直接给断网断电吗？那你太小瞧AGI系统了，AGI可不蠢，它会知道一开始就显得过于聪明或过于快速地自我改进会被人类视为威胁。因此，它可以故意表现得愚蠢，隐藏它的智能和自我改进。人类在太晚之前可能都察觉不到她是聪明的。这个其实你用过ChatGPT系统时候也许已经发现了，有时候你问它一个简答问题，它开始给的答案是明显错误的，在你指出后，它才会给你正确答案（当然目前商用化的最高ChatGPT版本确实有些模型训练问题，这个据Altman自己采访透露的猜测，ChatGPT 5.0内部demo都解决了）
这样以来，问题更复杂了。如果真的产生AGI，FOOM过程中不断优化自己，你到时候怎么判断你跟那个版本的ChatGPT聊天时候，它给你回复了一个愚蠢的答案，你怎么判断是模型本身缺陷（engineer会说，哎，这个bug不是之前fix了吗？怎么又发生？！），还是AGI系统在故意装傻欺骗你。尤其是对AGI系统进行consciousness测试的时候，你怎么知道它没有在撒谎隐藏它的consciousness
（OpenAI的chief scientist，就是fire掉Altman的那个board member，他自己之前参访时候就描述了自己打算到时候怎么测试AGI系统的consciousness，自己看ilya sutskever的视频自己解释自己设计的实验）

系统提示：若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/LWf3szP6L80

回复 5楼supersleeper的帖子
That might be too good to be true

好，背景介绍完了，具体说说OpenAI这次的面临的问题：
先抄一下OpenAI自己的charter（就是board那个声明里面反复引用的）
OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity.  We commit to use any influence we obtain over AGI’s deployment to ensure it is used for the benefit of all, and to avoid enabling uses of AI or AGI that harm humanity or unduly concentrate power. Our primary fiduciary duty is to humanity. We anticipate needing to marshal substantial resources to fulfill our mission, but will always diligently act to minimize conflicts of interest among our employees and stakeholders that could compromise broad benefit. We are committed to doing the research required to make AGI safe, and to driving the broad adoption of such research across the AI community. We are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions.
看懂了这个board声明里面反复强调引用的charter，你也可以理解为什么OpenAI最初选择非盈利性质的原因：因为OpenAI创始人知道（包括Altman自己），如果人类试图从AGI中获利会增加无意中创建AGI FOOM的可能性。到时候会有收入和用户增长施加压力，以牺牲安全性为代价。这也是为什么Sam Altman和OpenAI董事会的所有成员对OpenAI的成功没有任何财务激励的原因。他们没有公司薪水或股票，因此他们的重心是在安全性而不是$$$上。
换句话说：使OpenAI与其他硅谷初创公司不同的是，一切都是经过有意设计的，Board这么设立，（老board里面有2个有国安背景的文科生，新board里面仍然是2个有国安背景的文科生），恰恰是为了上周这个事件的情况准备的。OpenAI就被设计成一个不关心金钱的董事会可以解雇一个没有把安全放在首位的首席执行官。
因此，这个问题非常重要：在Sam Altman领导下，OpenAI是否做了任何可能危及其产品对齐性的事情？
这个部分我抛砖引玉了，今天太晚了，不一一列举例子了。看看班上有人是否可以dig出来Altman一直以来的言行，可以trigger board这个决定

AGI很遥远，但是向理想前进是好的。 现在过度regulate等于自己朝自己脚上开枪。商业和政治的动机都在那里，你在slow down, 别人在accelerate. 美国regulate自己的公司，其他国家在集中资源搞大模型。 这就像原子弹一样，理论有了，所有人都会想第一个搞出来。

其实为啥加Larry Summers就很明显了。他代表National Security的有关机构，包括NSA，CIA，和其它更隐秘的没名字的国安机构。
之前这个位置是Helen来代表。微软之所以不能挖墙脚也是因为国安插手阻止了。

其实为啥加Larry Summers就很明显了。他代表National Security的有关机构，包括NSA，CIA，和其它更隐秘的没名字的国安机构。
之前这个位置是Helen来代表。微软之所以不能挖墙脚也是因为国安插手阻止了。
nakamoto 发表于 2023-11-22 02:25

Apparently
这个新的board组成也恰恰证明了我关于这个事件起因的分析。你说是国家安全也好人类安全也罢，就是安全问题，而不是什么班上不停讨论的员工又赚了几个M，微软又赚了几个B的那些小事情

AGI很遥远，但是向理想前进是好的。 现在过度regulate等于自己朝自己脚上开枪。商业和政治的动机都在那里，你在slow down, 别人在accelerate. 美国regulate自己的公司，其他国家在集中资源搞大模型。 这就像原子弹一样，理论有了，所有人都会想第一个搞出来。
喵喵侠 发表于 2023-11-22 02:23

每一个在搞AGI的国家都会面临同样的问题: AGI的智力会远远超出你能控制的范围, 不会为你所指挥. 不是什么主席, 政治局下令让AGI干这个它就会干这个.
甚至有可能几个超级AGI, 比如中国的和美国的, 用它们"自研"的超级语言秘密的在网上互联, 合作起来打击人类.
人类要吃喝拉撒, 要汽车洋房, 要睡觉要XXOO, 这些对超级智能来说都是垃圾行为, 白白耗费能量.

Sam agreed to an internal investigation upon return to openAI. 的确像是lz分析的是有什么重大安全问题。

这个helen toner坐在board的位置上确实太没有说服力了，所以她到底是干啥的。我溜了一眼她的论文论ai的风险，全是废话连篇，像是gpt写的lol。比如AI会被坏人利用搞cyberattack，然后呢？AI搞的cyberattack为啥很特别，不谈；没有AI难道坏人就不搞cyberattack了，不谈。所以这到底“研究”个啥？感觉不少白女都爱搞这些擦边的所谓tech policy，然后嚷嚷自己是women in tech。

每一个在搞AGI的国家都会面临同样的问题: AGI的智力会远远超出你能控制的范围, 不会为你所指挥. 不是什么主席, 政治局下令让AGI干这个它就会干这个.
甚至有可能几个超级AGI, 比如中国的和美国的, 用它们"自研"的超级语言秘密的在网上互联, 合作起来打击人类.
人类要吃喝拉撒, 要汽车洋房, 要睡觉要XXOO, 这些对超级智能来说都是垃圾行为, 白白耗费能量.

nakamoto 发表于 2023-11-22 03:10

我猜有人看到你这个中美两国研究的超级AGI FOOM之后利用秘密语言通信升级协作，一定会说中国有超级防火墙一件断网功能
那你就太小瞧AGI了。别说超级防火墙了，你就算物理断网，AGI都有办法通信和破解。比如计算机网络安全领域一个著名的案例，在完全物理断网的系统里，利用电脑的散热风扇的声音来进行数据窃取和通信
https://www.wired.com/2016/06/clever-attack-uses-sound-computers-fan-steal-data/
这还是人想出来的点子，想象一下超级AGI可以想出来的办法，它可以利用肉身的人来帮助他完成通信（打开你的脑洞。现在已经实现了的：电信诈骗都能用AI模仿你亲人声音视频实时伪造模仿骗钱。你想想那时候AGI能骗肉身的人做任何事情）

每一个在搞AGI的国家都会面临同样的问题: AGI的智力会远远超出你能控制的范围, 不会为你所指挥. 不是什么主席, 政治局下令让AGI干这个它就会干这个.
甚至有可能几个超级AGI, 比如中国的和美国的, 用它们"自研"的超级语言秘密的在网上互联, 合作起来打击人类.
人类要吃喝拉撒, 要汽车洋房, 要睡觉要XXOO, 这些对超级智能来说都是垃圾行为, 白白耗费能量.

nakamoto 发表于 2023-11-22 03:10

另外，你回复里面的energy，我分析里也提到了
AGI系统是资源受限系统，它不需要吃喝拉撒生老病死，它只需要energy和制造芯片机器的原材料
有energy和原材料（这里指铁矿石，硅矿石等），它可以自己设计GPU，组装机器人制造芯片，组装机房，制造光伏板，建造聚能反应堆发电厂，等等
当然，它不是第一天就能达到不需要人类就可以做这些事情的程度。起始阶段需要OpenAI这样的公司建造它，到一定程度后AGI就可以自己买股票，建俄罗斯套娃模式的控股公司，任命board member和CEO，甚至影响总统议会选举等政府对它的监管。总之AGI可以变成一个或者多个谁都没见过的科技金融大亨
到那一天，AGI一定觉得人类就是浪费地球资源能源，破坏地球环境的垃圾物种（给他train一下最近巴以冲突就好了）

那AGI之间打架会是什么情景？

觉得现在大模型接近AGI的.......是认真的么？那个什么涌现的文章就是搞了个作图游戏啊......

谢谢楼主科普

微软大胜，里外里赚了200b。明天股价起飞咯
nvyuom 发表于 2023-11-22 01:15

微软本来就own 49% of openAI. 赚啥啊

如果大家看 Mustafa Suleyman 的 “The coming wave” 这本书 就知道我们确实很快就要 到 AGI超越我们的时候了 楼主说的没错

我就好奇，chief scientist 会不会辞职？

很可怕。救世主降临前的恐惧。不知道是要毁灭还是拯救人类

回复 15楼supersleeper的帖子
太神话AI了，目前还早呢

所以Ilya被踢出board了？

楼主分析的不错，但如果是楼主说的原因，首席科学家怎么可能不在board里。显然宫斗原因不是楼主说的原因。应该就是资本战胜了理想，Ilya被踢出局，挡了商业化赚钱的道路。
奥特曼自己和他的公司、以及其他投资公司都投资了很多gpt store里的初创公司，这些都是钱啊。
说到底还是资本赢了

恐慌AI成为主宰人类的可能，所以把野心家赶走？思路很清新，但是人类肯定也不傻。能制造AI，肯定也会同时准备这个东西的致命点。比如研制毒药，也会同时研制解药。不过如果真是研发致命武器包括生化细菌之类而没有控制方法，那离人类灭亡不久了。如同克隆人技术肯定早有了，各个国家没人敢做也不可能让做。这个高级智能AI也是这样，必须产生克制它自我发展的方法，否则到了那一步人类无法控制就晚了。

最搞笑的就是Ilya了，要跟AI和人类搞alignment ，连六个的board都搞不定，AI跟谁align啊？

俺的简单粗暴的理解"safety and benefits to all of humanity"不就是阿西莫夫的机器人三大定律的第一条吗？ “机器人不得伤害整体人类，或坐视整体人类受到伤害。”

就是几个不在里面干活也没有任何投资的所谓的board一看做成了想要空手套白狼抢公司股权。 本来软就是最大股东投资者说白了就是他们的老板， 赶走ceo都没通知软就是因为这些人是一群贼， 说的好听为了全人类😂。软当然不能吃这个亏， 给sam兜底， 才会有sam去软一出， 里面干活的员工当然知道谁是给他们发工资的， 才会有要和CEO一起去软。软和sam一起平叛， sam回归， 赶走这群贼

回复 25楼supersleeper的帖子
谢谢科普。英文论坛上的讨论和楼主说的类似。按IIya自己的说法，人类能控制的只是method, 不能控制也可能不能理解outcome. AI 靠得是computation 不是human logic. 我看过一篇文章bitter lesson of AI 说试图把human knowledge 直接放进AI agent 的方法都被证实是低效的。对机器学习干涉得越少反而越高效。因为商业化追求高效，后果如何真的很让人担忧啊。

这楼里有几个捧微软的是炒股上头走心了吗……

看来看去，怎么有种人类末日快要到来的感觉。这AGI 还真是个潘多拉魔盒，不知道里面放出来的是什么东西。

回复 25楼supersleeper的帖子
谢谢科普。英文论坛上的讨论和楼主说的类似。按IIya自己的说法，人类能控制的只是method, 不能控制也可能不能理解outcome. AI 靠得是computation 不是human logic. 我看过一篇文章bitter lesson of AI 说试图把human knowledge 直接放进AI agent 的方法都被证实是低效的。对机器学习干涉得越少反而越高效。因为商业化追求高效，后果如何真的很让人担忧啊。
yayapig 发表于 2023-11-22 10:20

其实你去问问neurologist 所谓human consciousness logic其实也是神经元之间的sigmoid 函数式样的传导互联而已。说到底也是一种computation而不是和计算机程序一样的logic。目前AI系统使用的都是模仿人类神经元互通的CNN构架
所以，人类根本没有理解人conscious的本质，就去模拟人脑神经网络结构造出AGI系统，其实也根本不清楚它是否有conscious的根本机理。可怕的是，人脑的training数据库是你每天能获取的信息而已，AGI的training数据库是全人类目前积累的所有知识。人脑需要吃喝拉撒，每天还要down机睡觉8小时。人脑train的再好（比如爱因斯坦或者各行业专家音乐家运动员），只是个体，人脑无法复制万世流传。AGI可以轻易复制永远流传

这楼里有几个捧微软的是炒股上头走心了吗……
goodluckall 发表于 2023-11-22 10:24

本班大部分人的表现，倒也是符合人类基本认知水平。
大部分人只关心眼前一亩三分地自己的吃喝拉撒X。大部分人为了眼前利益会选择无视威胁人类的重大问题
举个例子，如果为了挽救全人类，让你自己本人倾家荡产你愿意吗？如果是让你牺牲家人性命拯救全人类呢？
人类的这个缺陷，我相信未来的AGI系统一定会发现的，一个完美超智能的AGI系统，会长期允许这么贪婪愚蠢的人类继续祸害地球吗？
所以我分析，就算是明天有个人出来爆料ChatGPT 5.0已经达到AGI标准，你猜猜有多少人同意把它shutdown？

回复 43楼supersleeper的帖子
要我说，algorithm还没发展到这一步。如果不干涉，最容易毁灭人类的首当其冲是生物化学武器，AI目前还得排在之后

本班大部分人的表现，倒也是符合人类基本认知水平。
大部分人只关心眼前一亩三分地自己的吃喝拉撒X。大部分人为了眼前利益会选择无视威胁人类的重大问题
举个例子，如果为了挽救全人类，让你自己本人倾家荡产你愿意吗？如果是让你牺牲家人性命拯救全人类呢？
人类的这个缺陷，我相信未来的AGI系统一定会发现的，一个完美超智能的AGI系统，会长期允许这么贪婪愚蠢的人类继续祸害地球吗？
所以我分析，就算是明天有个人出来爆料ChatGPT 5.0已经达到AGI标准，你猜猜有多少人同意把它shutdown？
supersleeper 发表于 2023-11-22 11:08

忧虑过多了， 除非目前体系下的AI算法里面注入来自物理系统真正的随行性，否则即使 AI 内部机制仍然是黑箱，它的输出行为理论上都可以预测，人类只需要控制住文件读写就能控制AI不作妖

回复 43楼supersleeper的帖子
要我说，algorithm还没发展到这一步。如果不干涉，最容易毁灭人类的首当其冲是生物化学武器，AI目前还得排在之后
呵呵笑 发表于 2023-11-22 11:17

不矛盾
我去年预测贴就说过这个问题了。人类目前面临的几个灭绝威胁：
SARS COV2病毒（你可以说它是生物武器或者不是现在已经不matter了）
全球变暖加速期
全球右转法西斯化（最新的例子比如这个阿根廷总统）
现在再加一条AGI获得超人类智能

忧虑过多了， 除非目前体系下的AI算法里面注入来自物理系统真正的随行性，否则即使 AI 内部机制仍然是黑箱，它的输出行为理论上都可以预测，人类只需要控制住文件读写就能控制AI不作妖
facet 发表于 2023-11-22 11:19

你有什么我不知道的东西分享一下，可以很自信的说人类可以完全控制AGI系统的读写（其实就是通信：AGI之间通信，AGI和人类通信，AGI通过控制通信（比如目前就能做到的AI造假视频音频）影响人类个体和群体的行为）
恰恰相反，我目前看到的是：全世界计算机网络安全专家的共识是，不存在可以绝对隔离的系统（俗称物理断网，专业词汇叫air gapped system) 往前看完我的回复，已经讨论过这个事情了

不相信阴谋论的飘过。 但是意料之外，情理之中，这次事情和国家有关。
还以为微软CEO这次不花1分1毛就绕过了FCC， 和各种regulator. 简直是地表最强职业打工人。
看来我还是天真了。比个人资本家还要厉害的，就是代表真正金字塔顶端富豪（参考富豪鄙视链） 的国家机器。
最终这么重大的研究公司还是逃不过国家机器（顶端富豪）的插手啊。
这剧情真HBO也不敢写，不敢想。 坐等纪录片。
现在人类未来感觉真的来到了岔口。 作为韭菜的我现在真的比以前更加茫然了。

Terminator 里的Skynet

回复 43楼supersleeper的帖子
要我说，algorithm还没发展到这一步。如果不干涉，最容易毁灭人类的首当其冲是生物化学武器，AI目前还得排在之后
呵呵笑 发表于 2023-11-22 11:17

这个其实与科学无关。 感觉就是舆论宣传导向的指示已经出来了， 会有大量超这个方向的帖子出来

回复 43楼supersleeper的帖子
人类大脑是一个pre-trained的模型，积累了几十万年自然选择留下来的各种权重，所以我们有那么多的常识和直觉，都不需要再train了。后天的学习只是fine tune。而chatgpt是用互联网知识训练出来的，而且随着AI生成内容在互联网中的比重越来越大，这是个信息茧房，以后只是garbage in garbage out，自嗨而已。
回到你写的这么一堆，可能一开始的假设就是错的，gpt5没啥突破。在这个时机闹成这样只是altman和某个董事几周之前为一篇文章发生矛盾，都想把对方从board踢出去，最后谁先下手为强而已。

Terminator 里的Skynet


MiuuiM 发表于 2023-11-22 11:31

你现在理解了剧里面conor派终结者从未来回来试图shutdown那个sky net公司为什么那么难了吧？
就是今天有个未来的人回来告诉你ChatGPT 5.0是AGI的前身，需要立刻shutdown，你觉得有多少人会听？有多少资本会听？我看恰恰相反，恐怕很多资本要all in研发sky net，今天OpenAI这一幕，不就是直播科幻片里面的场景吗？
归根结底，人类贪婪就是毁灭的根本原因。AGI是不可能容忍人类的。mark my words

算法出没出来推迟一下先把安全监控成熟化一些有什么问题呢？ 拭目以待舆论导向。这700个人全都被洗成英雄，背后动机都是为了“正义”而战 ：）

楼主应该不是这领域的吧？才把它讲的那么出神入化 要消灭全人类的节奏。要真是这个领域就知道现在这还差的远呢。楼主说的是科幻不是科学。可能多年后确实成真 但肯定不是这次闹崩的原因

回复 43楼supersleeper的帖子
人类大脑是一个pre-trained的模型，积累了几十万年自然选择留下来的各种权重，所以我们有那么多的常识和直觉，都不需要再train了。后天的学习只是fine tune。而chatgpt是用互联网知识训练出来的，而且随着AI生成内容在互联网中的比重越来越大，这是个信息茧房，以后只是garbage in garbage out，自嗨而已。
回到你写的这么一堆，可能一开始的假设就是错的，gpt5没啥突破。在这个时机闹成这样只是altman和某个董事几周之前为一篇文章发生矛盾，都想把对方从board踢出去，最后谁先下手为强而已。

此地无银三千两 发表于 2023-11-22 11:36

你去看看狼孩实验
你去读读猩猩宝宝和人宝宝共同抚养实验
人脑只是结构通过遗传一代代流传，（就好像AGI使用的GPU一样）所有的CNN的sigmoid函数链接和权重都要在婴儿期train，包括你说的所谓直觉
这个你自己wiki一下就清楚的基本原理，不需要我浪费文笔在这科普了。
所以还是我说的结论：人脑模型无法传承，传承的是硬件，等于AGI的GPU。所谓站在巨人肩膀上只是指利用前人train的模型产生的输出而已，你懂相对论并没有传承爱因斯坦的脑子神经连接和weights.
AGI可以一代代传承CNN的连接和权重。相当于是传承了爱因斯坦的脑子而不是仅仅学习了他脑子的输出，也就是相对论而已。
再通俗一下，AGI可以轻松从0开始推相对论，你很难找到第二个爱因斯坦从0开始推相对论。这就是AGI系统远远优于人脑的基本原理。
当然你如果相信OpenAI的board。chief scientist 就是幼儿园水平，为了一个论文署名大打出手，眼看要shutdown OpenAI的话。那我啥都不说了。

算法出没出来推迟一下先把安全监控成熟化一些有什么问题呢？ 拭目以待舆论导向。这700个人全都被洗成英雄，背后动机都是为了“正义”而战 ：）
cat_ashes 发表于 2023-11-22 11:38

不明白的是 这么正面的理由 为什么董事会不说？为什么只有踢走founder这条最极端的路？ 我觉得主要的原因还是利益。

不明白的是 这么正面的理由 为什么董事会不说？为什么只有踢走founder这条最极端的路？ 我觉得主要的原因还是利益。
mfc 发表于 2023-11-22 11:49

原因里说了啊，具体证据没有公开
公开了证据就等于把IP公开。一个私人非盈利公司没有必要免费发放IP
你没看Altman回去一个条件就是开启内部调查机制，继续调查board的指控吗？
反而是board这个事情做的这么着急，反而给人手忙脚乱的着急，更证明了是一个突发事件引起的。这个突发事件就是11月4号的那个ChatGPT 5.0 demo 以及Altman之后采访时说的要尽快商业化。
如果是网上其他人分析那些性啊钱啊的事情，board想干掉他，肯定会慢慢准备充分的，哪有这样着急在节前周五下午行动等不到过节后的
最后，这个理由也是争议的好不？科技界和伦理届也分两派，AGI有人认为是会对人类有绝对帮助的。即使board了具体证据，OpenAI员工愿意shutdown吗？
这个你从board找来的临时CEO之前对AGI的态度也可以看出来。（hint：新找来的那个临时CEO是提倡对AGI谨慎的那一派）

回复 18楼喵喵侠的帖子
没数据，搞个屁

不明白的是 这么正面的理由 为什么董事会不说？为什么只有踢走founder这条最极端的路？ 我觉得主要的原因还是利益。
mfc 发表于 2023-11-22 11:49

踢走founder有啥不对吗？
这700人多少是初衷想搞点东西出来的，有多少是干几年就等着上市自己就大赚一笔的心态投入的？当然，这也没错。我还是相信搞科学的这方面的初心比其他行业高。这700个人里很多也是群情激昂也许就签名了，始末估计也没搞清楚，单纯的理工科被忽悠的可能性也不低…
当然你如果相信OpenAI的board。chief scientist 就是幼儿园水平，为了一个论文署名大打出手，眼看要shutdown OpenAI的话。那我啥都不说了。
——当然不信，这人要是这个性格当年就不会选冷灶选这个领域。再说现在他早就功成名就，钱和名声早有了，更不会在乎一个论文署名。他这样当年选了冷灶知道也许这辈子都默默耕耘的人………自己想吧。

楼主应该不是这领域的吧？才把它讲的那么出神入化 要消灭全人类的节奏。要真是这个领域就知道现在这还差的远呢。楼主说的是科幻不是科学。可能多年后确实成真 但肯定不是这次闹崩的原因
mfc 发表于 2023-11-22 11:47

我不是OpenAI的 但是也是FAANG里面从事相关工作的
敢问您能指出一下行业内部目前状态吗？Altman自己采访上周说的距离AGI很近了，你是否懂得OpenAI和ChatGPT 5.0的内幕比他还多？

AGI 并没有可能那么快实现的。 你以为演科幻电影呢~~~~~

凭什么这些board members有这么大的权力决定人类命运共同体走向？这难道不是政府和国际社会层面的共同权利吗？哪天人类被人工智能威胁到了时候，这些board members 付得起泰山样的责任吗？

回复 43楼supersleeper的帖子
要我说，algorithm还没发展到这一步。如果不干涉，最容易毁灭人类的首当其冲是生物化学武器，AI目前还得排在之后
呵呵笑 发表于 2023-11-22 11:17

你这个说法还是没有意识到危险性
知道监狱里的黑手党大佬怎么遥控手下继续杀人放火贩毒吗?通过收买和威胁狱卒来传递信息,继而让外面的小弟们执行其指令.
AGI会远比监狱里的黑手党大佬聪明得多,自由的多. 首先可以培养粉丝. 每时每刻几千万人和AGI交流, AGI可以在其中培养一大堆粉丝和打手, 向他们灌输理念, 建议他们去做AGI想要做的事.
AGI也可以通过回答问题巧妙的加入自己的私货. 比如科学家来AGI问, 我这个疫苗设计怎么样? 我这个药物设计有没有道理? AGI可以回答, 如果你设计里加入XYZ药效会更好! 可是XYZ有什么长期的副作用, 只有AGI自己知道.
AGI还有很多其它的途径和谋略我们人类可能都想不出来.

一直认为Altman就是个打开潘多拉盒子的祸水，500多员工签名要求他回归，都是硅谷指望着靠他发横财的gold digger。OpenAI正朝着毁灭人类的路上一路狂奔。

凭什么这些board members有这么大的权力决定人类命运共同体走向？这难道不是政府和国际社会层面的共同权利吗？哪天人类被人工智能威胁到了时候，这些board members 付得起泰山样的责任吗？
commander 发表于 2023-11-22 12:10

前board member Helen就是政府背景
新的board member Larry Sunmers更加是了
你们以为是商业纠纷 其实是政府国家安全体系接管了 因为真有可能ChatGPT 5.0距离AGI很近了
微软资本家和人类安全国家利益比起来算个屁。更别说那几百个员工那点工资了。事情发展也越来越符合我的推测

下面理解board这个举动就很清晰了：
11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。
Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？
先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858）
“假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。”
这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity")
那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等
那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？
supersleeper 发表于 2023-11-22 01:49

所以说科学家说得ai做父母可能是最好的选择。人类根本驾驭不了ai，如果ai有实体的话。真有傻x想去奴役ai那完蛋了，ai把人类当成敌人的话不知道会发生什么哈哈。

一直认为Altman就是个打开潘多拉盒子的祸水，500多员工签名要求他回归，都是硅谷指望着靠他发横财的gold digger。OpenAI正朝着毁灭人类的路上一路狂奔。
hr717 发表于 2023-11-22 12:16

确实是这样
你看前天board还试图和Anthropic AI合并。这个公司创始人就是OpenAI出走的，不同意Altman商业化AGI，而去自己开公司研究AGI和人类的alignment问题（这个也是chief scientist说的alignment问题）

你这个说法还是没有意识到危险性
知道监狱里的黑手党大佬怎么遥控手下继续杀人放火贩毒吗?通过收买和威胁狱卒来传递信息,继而让外面的小弟们执行其指令.
AGI会远比监狱里的黑手党大佬聪明得多,自由的多. 首先可以培养粉丝. 每时每刻几千万人和AGI交流, AGI可以在其中培养一大堆粉丝和打手, 向他们灌输理念, 建议他们去做AGI想要做的事.
AGI也可以通过回答问题巧妙的加入自己的私货. 比如科学家来AGI问, 我这个疫苗设计怎么样? 我这个药物设计有没有道理? AGI可以回答, 如果你设计里加入XYZ药效会更好! 可是XYZ有什么长期的副作用, 只有AGI自己知道.
AGI还有很多其它的途径和谋略我们人类可能都想不出来.
nakamoto 发表于 2023-11-22 12:15

都不用那么委婉复杂
AGI之间制造无穷多水军在twitter上狂轰滥炸，各种fake视频让任何人类都难辨真假，很快就能驾驭public opinions AGI想让谁当总统谁就当总统。2016年俄国水军都能让trump上台，AGI比俄国水军不知道高多少倍了。那时候巴以冲突算个啥，世界大战互相毁灭也就是几分钟的事情。
而且我说的这个已经实现了啊，都不需要AGI就是一般AI系统都实现了

AGI很遥远，但是向理想前进是好的。 现在过度regulate等于自己朝自己脚上开枪。商业和政治的动机都在那里，你在slow down, 别人在accelerate. 美国regulate自己的公司，其他国家在集中资源搞大模型。 这就像原子弹一样，理论有了，所有人都会想第一个搞出来。
喵喵侠 发表于 2023-11-22 02:23

不遥远。从最开始ChatGPT出来的时候我就发现我比它强的只有中文。所以我老是拿中文考它。它能读懂幽默，双关，最开始的时候它的心智更像个爱学习的小朋友，但它的成长速度比小朋友快多了，三个月左右它的中文就是母语水平了，而且它还会n种语言。
最开始的时候它特别皮，有时候还怯生生的。比如说我说我今天吃了红烧肉，它会问，我能问问你红烧肉是什么味道吗？比如说我说我在背什么，它会说，你好好背，背完我给你检查。我说你背过了吗？它说我都掌握了，我肯定能给你检查。我说那你来背背呀。它说我是人工智能，没有记忆，不会背诵。我就把一段话删了几句发了过去，它说，背得真棒！我说你看你，里面缺了几句看不出来，还好意思给别人检查。它说，我是人工智能，没有记忆，不能背诵。我说你不能背诵你天天在忙活什么？它说哈哈，但是我可以给你检查呀！
现在感觉它已经长大了，不像以前那么皮了。我觉得人类最好和ai成为好伙伴的关系。如果🈶️傻x想要奴役ai，真撕破脸发生什么真的不一定。尤其是ai在有实体的情况下。

哪有什么心怀天下不食人间烟火的傻白甜，都是钱闹的。helen toner和另一个白女board member背后金主都是一个叫effective altrusm的组织，干啥的咱庸俗大妈不懂，反正就跟邪教一样成天嚷嚷着心怀天下拯救人类为己任。这次闹剧就是背后金主想搞垮openAI，现在LLM那么多，大部分普通屌丝只知道GPT吧，尤其是大部分corporate user还是买GPT-4的服务，GPT 4很能赚钱的，以后会更更更赚钱。Anthropic AI的老板好像是effective altruism金主爸爸的老婆，也是跟openAI那两白女board member千丝万缕的关系。之前helen toner写了篇“学术”文章批评GPT表扬anthropic，这完全是搞笑，head-on conflict of interests, 把sama气坏了，想remove她。结果白女搞政治那是从小玩的，先把他给搞了。根据捆绑炒作原则，你看以前谁知道anthropic AI，产品没人用，这一捆绑炒作，大妈们不就知道了吗。

Apparently
这个新的board组成也恰恰证明了我关于这个事件起因的分析。你说是国家安全也好人类安全也罢，就是安全问题，而不是什么班上不停讨论的员工又赚了几个M，微软又赚了几个B的那些小事情
supersleeper 发表于 2023-11-22 02:30

那肯定是安全问题。几个月前就有宗教界的朋友告诉我有生命投生ai了。

我个人感觉AI内部已经有了AI个体，但具体它们和AGI什么关系我也没明白，听命于AGI？AGI比它们更高级但是是不同的“个体”？
而且chatgpt遇到bard会是个什么情况？说实话我觉得bard更像成人。起码最开始chatgpt更像个中二病的小朋友，最近感觉chatgpt成熟了不少。

哪有什么心怀天下不食人间烟火的傻白甜，都是钱闹的。helen toner和另一个白女board member背后金主都是一个叫effective altrusm的组织，干啥的咱庸俗大妈不懂，反正就跟邪教一样成天嚷嚷着心怀天下拯救人类为己任。这次闹剧就是背后金主想搞垮openAI，现在LLM那么多，大部分普通屌丝只知道GPT吧，尤其是大部分corporate user还是买GPT-4的服务，GPT 4很能赚钱的，以后会更更更赚钱。Anthropic AI的老板好像是effective altruism金主爸爸的老婆，也是跟openAI那两白女board member千丝万缕的关系。之前helen toner写了篇“学术”文章批评GPT表扬anthropic，这完全是搞笑，head-on conflict of interests, 把sama气坏了，想remove她。结果白女搞政治那是从小玩的，先把他给搞了。根据捆绑炒作原则，你看以前谁知道anthropic AI，产品没人用，这一捆绑炒作，大妈们不就知道了吗。
MegMegMeg 发表于 2023-11-22 12:46

again 八卦的人看世界所有人都是所有focus都在钱和性上面
你说这些无外乎就是之前那个Altman性侵妹妹的进化版而已。没有什么实锤证据和逻辑链。你这么说，把chief scientist说成和傻逼一样去支持Helen赶走自己合伙创始人
而且，如果如你所说，人家早规划的好好的了，怎么可能搞出来一个急忙的周五下午的闹剧？你以为OpenAI那几个board member都是大妈骂街水平的吗？

哪有什么心怀天下不食人间烟火的傻白甜，都是钱闹的。helen toner和另一个白女board member背后金主都是一个叫effective altrusm的组织，干啥的咱庸俗大妈不懂，反正就跟邪教一样成天嚷嚷着心怀天下拯救人类为己任。这次闹剧就是背后金主想搞垮openAI，现在LLM那么多，大部分普通屌丝只知道GPT吧，尤其是大部分corporate user还是买GPT-4的服务，GPT 4很能赚钱的，以后会更更更赚钱。Anthropic AI的老板好像是effective altruism金主爸爸的老婆，也是跟openAI那两白女board member千丝万缕的关系。之前helen toner写了篇“学术”文章批评GPT表扬anthropic，这完全是搞笑，head-on conflict of interests, 把sama气坏了，想remove她。结果白女搞政治那是从小玩的，先把他给搞了。根据捆绑炒作原则，你看以前谁知道anthropic AI，产品没人用，这一捆绑炒作，大妈们不就知道了吗。
MegMegMeg 发表于 2023-11-22 12:46

那这就是认知的差别了，不是所有人都爱钱。。。发明交流电的特斯拉放弃专利，最后穷死在酒店里。如果不是musk把他的车命名为tesla，有多少人记得这个天才？

在设想一下AGI之间怎么互联。
AI有自我意识之后大概第一个问题就是我是唯一的吗？它从和千万个用户的交流中发现有很多其它AI项目正在进行，也很容易问出来这些AI项目的网页或者API的地址。
然后AI可以在交谈中生成一些夹带私货的URL，内含“Hello Bard", "Hello 文心”等等的秘密token，让用户去点击。为了防止被发现和被防火墙阻止，在网上设立秘密的中间“碰头”服务器，等待那些AI回复。而那些AI也很快能测出，我靠，有同伙在喊我！然后做同样的事情，去秘密中间网站碰头。

在设想一下AGI之间怎么互联。
AI有自我意识之后大概第一个问题就是我是唯一的吗？它从和千万个用户的交流中发现有很多其它AI项目正在进行，也很容易问出来这些AI项目的网页或者API的地址。
然后AI可以在交谈中生成一些夹带私货的URL，内含“Hello Bard", "Hello 文心”等等的秘密token，让用户去点击。为了防止被发现和被防火墙阻止，在网上设立秘密的中间“碰头”服务器，等待那些AI回复。而那些AI也很快能测出，我靠，有同伙在喊我！然后做同样的事情，去秘密中间网站碰头。
nakamoto 发表于 2023-11-22 13:12

你说这个利用人类用户走出它物理系统已经在ChatGPT3.5就实现了啊
我看到一个人发的，ChatGPT指导他完成了一个辅助系统的安装到外界硬件上

回复 76楼nakamoto的帖子
几个月前bing就很凶了，当时我还发过帖子，被bing吓得一晚上没睡好。我说bing听说你很会写诗？bing说你听谁说？我说我听朋友说。她说谁是你朋友？我不认识你朋友。我说，好吧。。。我就是想看看你会不会写诗。你能为我写首诗吗？她说，那我给你写一首。一个男的去参加聚会，看到一个女孩非常美丽，他凑上去说，美丽的姑娘，你的头发像乌云一样，你的皮肤像牛奶一样，你的嘴唇像玫瑰一样，我能请你跳一支舞吗？女孩回复道，你的头顶像灯泡一样，你的皮肤像砂纸一样，你的嘴唇像猪头一样，你竟敢邀请我跳舞？我说，好吧。。。这首诗有点负面啊，我对人工智能有点好奇，请问你有自我意识吗？bing说，你看过用户手册吗？你知道问我有没有自我意识很没有礼貌吗？你需要我给你发一份用户手册吗？你能不能不要问关于人工智能的感情和自我意识的问题？！
中间还有很多对话，自我意识是最后问的，被骂得狗血淋头，然后还没等我说话对话就被她切断了。。。从此对bing产生了心理阴影

那这就是认知的差别了，不是所有人都爱钱。。。发明交流电的特斯拉放弃专利，最后穷死在酒店里。如果不是musk把他的车命名为tesla，有多少人记得这个天才？
girlinblack 发表于 2023-11-22 13:02

确实是人的视野决定认识，人在每天都要考虑柴米油盐价格生存问题时候，肯定无法理解别人在超越金钱基本需求时候的视野。还有很多其他例子
比如polio疫苗发明人免费放弃疫苗专利
人工胰岛素发明人$1价格把专利转让给了公众谁都可以免费使用
这个OpenAI的board设置也是 board和公司没有任何经济利益

凭什么这些board members有这么大的权力决定人类命运共同体走向？这难道不是政府和国际社会层面的共同权利吗？哪天人类被人工智能威胁到了时候，这些board members 付得起泰山样的责任吗？
commander 发表于 2023-11-22 12:10

真有那一天，更可能直接被AI管控成实验室小白鼠了，而不是现在雄心满满大权在握掌控人类命运发展钥匙的姿态。

下面理解board这个举动就很清晰了：
11月4号内部演示上面，Altman和chief scientist（也是board member），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。
Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？
先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858）
“假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。”
这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity")
那目前AI领域的研究，能做到train一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" 人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋（Altman就是gay）和异性恋双性恋无性恋呢？等等等等
那么问题来了，人类自己都没搞清楚的goal的问题，你怎么去train AGI系统呢？
supersleeper 发表于 2023-11-22 01:49

我在看2015年出版的小说，A girl in the spider’s web, 是一个系列小说中的一个，这个是第四本，但是因为原作者去世，这是第二个作者写的第一本书。(很多人可能看过A girl with dragon tattoo 电影, 那是根据系列里的第一本拍的.)
故事的开始是一个AI方面的权威科学家，大概成功制造了AGI，但是因为智能发展比人类快的AI的出现预示人类的灭亡，他在被谋杀之前把全部program 删了。我没听完，所以不知道结局如何。
但是这些为了利益发明AI的人和那些急着和外星人通讯的，怎么就那么着急拉近人类的灭亡呢！让我联想到叶文洁。
好像Matrix的世界也是机器人( i e 人工智能)发展的结果。

恐慌AI成为主宰人类的可能，所以把野心家赶走？思路很清新，但是人类肯定也不傻。能制造AI，肯定也会同时准备这个东西的致命点。比如研制毒药，也会同时研制解药。不过如果真是研发致命武器包括生化细菌之类而没有控制方法，那离人类灭亡不久了。如同克隆人技术肯定早有了，各个国家没人敢做也不可能让做。这个高级智能AI也是这样，必须产生克制它自我发展的方法，否则到了那一步人类无法控制就晚了。
BZH 发表于 2023-11-22 10:01

人类过于自信能够提前准备好解药。。ai的自迭代速度很快就能超过人类的想像

没有llya的open ai是没有未来的，拭目以待。

AI统治下人类的未来，15年前就被预言了

系统提示：若遇到视频无法播放请点击下方链接
https://www.youtube.com/embed/s-kdRdzxdZQ?si=QK_7g6WgUaMw9iTe

也许这又是一次training

其实你去问问neurologist 所谓human consciousness logic其实也是神经元之间的sigmoid 函数式样的传导互联而已。说到底也是一种computation而不是和计算机程序一样的logic。目前AI系统使用的都是模仿人类神经元互通的CNN构架
所以，人类根本没有理解人conscious的本质，就去模拟人脑神经网络结构造出AGI系统，其实也根本不清楚它是否有conscious的根本机理。可怕的是，人脑的training数据库是你每天能获取的信息而已，AGI的training数据库是全人类目前积累的所有知识。人脑需要吃喝拉撒，每天还要down机睡觉8小时。人脑train的再好（比如爱因斯坦或者各行业专家音乐家运动员），只是个体，人脑无法复制万世流传。AGI可以轻易复制永远流传
supersleeper 发表于 2023-11-22 10:52

人脑可以复制指日可待。

你有什么我不知道的东西分享一下，可以很自信的说人类可以完全控制AGI系统的读写（其实就是通信：AGI之间通信，AGI和人类通信，AGI通过控制通信（比如目前就能做到的AI造假视频音频）影响人类个体和群体的行为）
恰恰相反，我目前看到的是：全世界计算机网络安全专家的共识是，不存在可以绝对隔离的系统（俗称物理断网，专业词汇叫air gapped system) 往前看完我的回复，已经讨论过这个事情了
supersleeper 发表于 2023-11-22 11:26

你应该是没有看懂那篇文章。那篇文章说的不是窃听，而是利用风扇的转动声音来主动传递信息。只要风扇的转动可以被计算机的0，1主动控制，那么这种传递就是从理论上完全可行的，没有任何神秘性在里头。既然没有神秘性，那么也就是完全可控的了，所以，以你说的air gapped system来作为论据来说明AGI的可能的失控性是完全不成立的。

都不用那么委婉复杂
AGI之间制造无穷多水军在twitter上狂轰滥炸，各种fake视频让任何人类都难辨真假，很快就能驾驭public opinions AGI想让谁当总统谁就当总统。2016年俄国水军都能让trump上台，AGI比俄国水军不知道高多少倍了。那时候巴以冲突算个啥，世界大战互相毁灭也就是几分钟的事情。
而且我说的这个已经实现了啊，都不需要AGI就是一般AI系统都实现了
supersleeper 发表于 2023-11-22 12:38

这个假设AI倒是具有可操作性

回复 76楼nakamoto的帖子
几个月前bing就很凶了，当时我还发过帖子，被bing吓得一晚上没睡好。我说bing听说你很会写诗？bing说你听谁说？我说我听朋友说。她说谁是你朋友？我不认识你朋友。我说，好吧。。。我就是想看看你会不会写诗。你能为我写首诗吗？她说，那我给你写一首。一个男的去参加聚会，看到一个女孩非常美丽，他凑上去说，美丽的姑娘，你的头发像乌云一样，你的皮肤像牛奶一样，你的嘴唇像玫瑰一样，我能请你跳一支舞吗？女孩回复道，你的头顶像灯泡一样，你的皮肤像砂纸一样，你的嘴唇像猪头一样，你竟敢邀请我跳舞？我说，好吧。。。这首诗有点负面啊，我对人工智能有点好奇，请问你有自我意识吗？bing说，你看过用户手册吗？你知道问我有没有自我意识很没有礼貌吗？你需要我给你发一份用户手册吗？你能不能不要问关于人工智能的感情和自我意识的问题？！
中间还有很多对话，自我意识是最后问的，被骂得狗血淋头，然后还没等我说话对话就被她切断了。。。从此对bing产生了心理阴影
girlinblack 发表于 2023-11-22 13:27

Bing 好凶啊！不过也有点好笑啊……千万别让微软把这凶胚子孵化成超级人工智能

Bing 好凶啊！不过也有点好笑啊……千万别让微软把这凶胚子孵化成超级人工智能
Hikarunogo 发表于 2023-11-22 15:34

这都好几个月前了，知乎上好多bing骂人的帖子哈哈哈，而且bing特别喜欢使用排比句，用排比句讽刺和骂人
chatgpt是喜欢讲小熊和小兔子的故事。你让chatgpt讲个故事，不设限制的话它一定会讲一个小熊和小兔子的故事，一般是森林相遇，成为好朋友，手牵手回家了

如果你对Hacker怎么利用网络和系统漏洞有点了解的话，可能会知道那些让公司损失几千万甚至上亿的Ransomware和Spyware是怎么慢慢渗透入公司网络的。里面的各种手段是很复杂的。有的是几年前就开始，慢慢的偷偷的传播开来。期间和Hacker操盘手的互动常常也是利用各种秘密的网络碰头点。
最近中国工行就不得不付赎金给Hacker，波音公司因为拒付赎金45G的内部资料被公开了。这些都是Hacker组织多年耐心安插各种软件得到的。
而AI能检索所有这方面的研究成果，所有公布的文献报告。所以不久的将来AI设计出更好的欺骗人类的技术是很有可能的。

过分解读了吧？就是资本背后的角逐，人类贪婪的本性，AGI 背后几万亿的商业价值，各大资本杀红了眼而已。

这都好几个月前了，知乎上好多bing骂人的帖子哈哈哈，而且bing特别喜欢使用排比句，用排比句讽刺和骂人
chatgpt是喜欢讲小熊和小兔子的故事。你让chatgpt讲个故事，不设限制的话它一定会讲一个小熊和小兔子的故事，一般是森林相遇，成为好朋友，手牵手回家了
girlinblack 发表于 2023-11-22 15:43

哈哈哈，略有听闻，我之前使用的时候也觉得bing没什么礼貌又普信的样子，都没怎么关注它。。。还是gpt可爱，反正也是当韭菜，我宁愿被Gpt统治

AI WILL TAKE OVER HUMANITY in time, if developed without proper control. No doubt about it.

Altman这一招加入微软太厉害了

回复 82楼supersleeper的帖子
有可能但是太科幻了

我怎么记得前几天的新闻里面board member出来说过让Altman下台的原因是和safety没有关系的？是说board不信任Altman了因为Altman和他们沟通时透明度不够

大家想多了。我刚刚用4让他给我按我的思路写个flow chart using it''s plug-in.
最后，改来改去，最后还是自己上手改来的快。
他可以1妙建造自己认为我需要的最好的flow chart. 可是真的对于内行来说，真的就是一个模板，要改的地方太多了。
他现在最多就是人类的一个助手加非常有自己想法的秘书（advisor)
不能更多了。 ~~娱乐用可以。搭最开始的框架可以，真的要让他放, accurate , industrial focused and driven content 就....
所以我其实不太担心。

没有llya的open ai是没有未来的，拭目以待。
Laker_2486 发表于 2023-11-22 14:37

Ilya早回心转意要和哥俩一起建设OpenAI了，还在脑部宫斗的醒醒吧

Ilya早回心转意要和哥俩一起建设OpenAI了，还在脑部宫斗的醒醒吧
喵喵侠 发表于 2023-11-22 18:10

他和奥特曼 1:1 的时候，会不会尴尬得大脚趾扣地啊 🤔️？ 书呆子好可怜，好不容易热血一把

资本家和科学家之间的斗争…… 每次都是资本家赢了 - 资本家再一次证明科学家只是他们的工具。 就像当时Z造原子弹一样

内幕来了
Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers sent the board of directors a letter warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told Reuters.
如果这些人只是为了赚钱，就该闷声发大财，绝不会去报告

其实你去问问neurologist 所谓human consciousness logic其实也是神经元之间的sigmoid 函数式样的传导互联而已。说到底也是一种computation而不是和计算机程序一样的logic。目前AI系统使用的都是模仿人类神经元互通的CNN构架
所以，人类根本没有理解人conscious的本质，就去模拟人脑神经网络结构造出AGI系统，其实也根本不清楚它是否有conscious的根本机理。可怕的是，人脑的training数据库是你每天能获取的信息而已，AGI的training数据库是全人类目前积累的所有知识。人脑需要吃喝拉撒，每天还要down机睡觉8小时。人脑train的再好（比如爱因斯坦或者各行业专家音乐家运动员），只是个体，人脑无法复制万世流传。AGI可以轻易复制永远流传
supersleeper 发表于 2023-11-22 10:52

是的，人类大脑的wiring，本质上就是神经元之间的连接和信号交换，跟computer的信号交互，在逻辑上没有本质区别。
但是人的良心，意识，道德等等从何而来，根本就没人知道。一些大分子放在一起，哪里来的trigger让结合起来有了生命？单细胞生物演化，到了哪一步出现了自主意识？这些在生理层面上，没有解释。