最近Sam Altman有些忙，周游世界拜访开发者和各地政要。Sam似乎往往会在当地著名大学安排一个访谈。
上次有慕尼黑工大， 这次轮到了以色列特拉维夫大学。
但慕尼黑的半小时访谈太水了；这次在特拉维夫，则有很多亮点。
首先，Sam拉上了在以色列长大的OpenAI科学家大神Ilya同场助阵。
印象里这是Sam和Ilya很少的一次同台访谈。Ilya的气场绝对强大，相比Sam丝毫不逊色。下面记录了一些他俩对同一问题的不同回应，对比看非常有意思的。
B站传送：【【中文精校】Sam Altman和OpenAI 首席科学家Ilya 最新同台访谈 · 以色列特拉维夫大学-哔哩哔哩】这场访谈还有一大特点，就是后面的问答相当给力，我们不妨提前感受一下这两个提问：
问题：开源 LLM 是否可以在没有额外先进技术的情况下，与 GPT-4 的能力相匹配？还是 GPT-4 中有不为人世所知的秘诀，使它区别于其他模型。我是在浪费时间吗， 我在安装Stability的 vicuna模型，130 亿参数的... 我在浪费时间吗 ？告诉我~~~（全场大笑）好吧，对于开源与非开源模型的问题，你不想用二进制的黑白术语来考虑它，就像有一个秘密来源一样，那将永远不会被重新发现。GPT-4 是否会被开源模型复制？也许有一天会。但到时候，GPT将成为一个更强大的模型。所以开源模型和私有模型之间总会有差距，而且这种差距甚至可能随着时间的推移而越来越大。生产这样一个神经网络所需的努力、工程和研究不断增加，因此，即使有开源模型，它们也会越来越少地由一小群敬业的研究人员和工程师制作，这只会是一家公司，一家大公司。问题：我想问你们俩，你们正在创造历史，你们希望历史如何记住你们？Ilya：我的意思是，以最好的方式（全场笑，长久的鼓掌）以上附上了全长的中文精校视频，有兴趣同学可以一看。 这里只整理了访谈中新出现的/有趣的观点精华和大家分享：我从五岁到十六岁，一直住在耶路撒冷 我从2000年就读于开放大学；到2002年，之后我搬到了多伦多大学，在那里呆了十年，并获得了学士、硕士和博士学位。在读研究生期间，我很幸运能够为深度学习的重要进步做出贡献。然后，我们和几个人一起创办了一家公司，后来被谷歌收购。我在那里工作了一段时间。然后，实际上，有一天我收到了 Sam 发来的一封冷淡的电子邮件，说，嘿，让我们和一些很酷的人出去玩吧。我很好奇，所以我去了。那是与 Elon Musk 和 Greg Brockman 的第一次创始晚餐，我们决定在会上启动 OpenAI 我们一直在努力。好几年了，这就是我们现在所处的位置。我小时候对 AI 非常兴奋，就像一个大科幻书呆子，从来没有真正想过我会得到机会，但后来结束了。在大学研究了一会儿，它根本不起作用。我的时间表... 辍学，做过创业公司，做了一段时间的创业投资人。。。在 Ilya 提到的进步之后，我对 AI 正在发生的事情感到非常兴奋，给他发了那封电子邮件，然后就是现在这样了。(观众笑）专注和信念。我们相信，我想我们一直相信，比大公司走得更远，因为我们更专注于做我们所做的事情。我认为我们有很多人才密度，我的理解是人才密度非常重要。然后我们有一种严谨和可重复创新的文化，而将这两种文化融入一种文化是困难和罕见的。我只能对 Sam 的答案添加少量内容... 好的 ，我在Sam 的回答之外添加 5%。AI 的进步是一场信仰游戏，您拥有的信念越多，您取得的进步就越大。所以，如果你有非常非常大的信心，你就能取得最大的进步。听起来我在开玩笑，但我不是。你一定要相信 你必须相信这个想法并推动它。你相信的越多，你就能越努力地推动，这就是导致进步的原因。现在，重要的是你所相信的事情是正确的，但要注意的是，一切都与信念有关。事情发生了很大的变化 学术界曾经是最前沿的人工智能研究发生的地方 现在，不是这样。有两个原因：计算量和工程量。学术界的计算能力较少，通常没有工程文化。但是，学术界可以为 AI 做出非常显著和重要的贡献，但不是最前沿的能力。学术界可以贡献的地方是，我们正在训练的神经网络有很多谜团，我们正在生产这些具有神奇和难以想象的复杂性的物体。什么是深度学习？是一个炼金术的过程。我们获取数据的原材料加上计算的能源，我们就得到了这种智能。但它是什么？什么工作原理？它的属性是什么 ？我们如何控制它？我们如何收容它？我们怎么理解呢？我们如何衡量它？这些都是未知数。。。即使是简单的测量任务 我们的人工智能有多好？我们无法衡量它。以前这不是问题，因为 AI 并不重要；但现在人工智能很重要，我们意识到，我们无法衡量它。所以，这只是我的头脑里一些没有人可以解决的问题的例子。您不需要巨大的计算集群。您不需要庞大的工程团队来提出这些问题，并在这些问题上取得进展。如果你确实取得了进展，那将是一个戏剧性和重要的，每个人都会立即注意到的贡献。造成很多混乱的一件事是，围绕着大量论文的写作有很大的动力，但重要的是要思考最重要的问题 ，只关注他们，将注意力转移到最重要的事情上。每种风险的可能情况，提到了三个，经济混乱，黑客，超级智能人工智能失控。确实存在经济混乱，比如，我们已经知道有些工作正在受到影响，或者他们正在被牵涉到。换句话说，可以完成一些工作 如果你是一名程序员，你就不会再编写函数了。Copilot为您编写；但是，如果你是艺术家，情况就有点不同了，因为艺术家的大部分经济活动都被一些图像生成器拿走了。我认为就工作而言，这确实不是一个简单的时期。虽然会创造新的就业机会，但这将是一段长期的经济不确定性。有一种观点认为，即使我们拥有完全的，比如，我们拥有完全的人类水平的 AI，完全的AGI，人们仍然会有经济活动要做 。不知道是不是这样。但无论哪种情况，我们都需要一些可以减轻打击的东西，可以更顺利地过渡到将存在的全新职业，或者即使不存在，那么我们希望政府社会系统需要（关注）在黑客攻击问题上，这是一个棘手的问题。确实，AI 会很强大，它可以被不良行为者以强大的方式使用，我们将需要应用类似的框架，类似于我们在其他非常强大和危险的工具中应用的框架。请注意，我们不是在谈论今天的人工智能 我们谈论的是随着时间的流逝，能力不断增强，并且最终AI一直走到高处。现在我们在这里（低处）。当你达到高点时，这是非常强大的技术 它可以用于惊人的应用程序 可以说包治百病 另一方面，你可以说制造疾病 ，制造比以前存在的任何东西都要糟糕得多，那会很糟糕。因此，我们需要建立适当的结构来控制强大技术的使用。Sam提出了一份文件，我们说让AI的国际原子能机构去控制非常强大的技术 ，专门针对人工智能的类似国际原子能机构。最后一个问题，失控的超智能AI，是的，那会很糟糕。是的，构建一个我们不知道如何控制的超级智能 AI 将是一个很大的错误。好吧，我对最后一句话没有什么要补充的 我非常同意。我认为现在世界上有太多的过剩需求，这些系统非常擅长帮助完成任务。但在今天的大部分时间里，不是。我认为短期内的当前工作，图景实际上看起来不错。这将是很多戏剧性的生产力增长。我们会发现，如果你能让程序员的工作效率提高两倍，世界需要的代码数量是其两倍多，所以一切都很好。从长远来看，我认为这些系统会做越来越复杂类别的事情。这些事情中的一些会消失，但其他一些会真正需要人类，而人们真的希望人类参与。这些角色的方式不是很明显。一个例子是，当深蓝击败卡斯帕罗夫时，世界第一次看到人工智能，当时每个人都说，国际象棋完全结束了。没有人会再下国际象棋，因为它没有意思，每个人都这样认为。但是国际象棋从未像现在这样流行，人类在国际象棋方面做得更好，期望值上升了，我们可以使用这些工具更好地学习。人们仍然真的很想玩，而且人类似乎仍然很关心其他人在做什么。Dall-E可以创造伟大的艺术，但人们仍然关心他们想要购买的艺术品背后的人，我们都认为这种艺术品是特别且有价值的。以国际象棋为例，人们观看人类下棋的次数也比以往任何时候都多，但观看两个 AI 下棋的人并不多。所以我认为将会有所有这些难以预测的事情 人类渴望区分（人类和机器）。创造新事物，以获得地位，我认为那不会消失，但它会以某种方式看起来非常不同 而且我敢打赌，100年后的工作看起来几乎与今天的工作完全不同，而有些事情会出奇地相似。但我真的同意，正如 Ilya 所说，无论发生什么，随着自动化达到前所未有的高度，我们都需要某种不同的社会经济契约。这是我个人对 AI 最感兴趣的事情 我认为到处都会发生巨大而美妙的事情：巨大的经济效益，巨大的医疗保健效益... 但事实上，人工智能可以帮助我们进行我们目前无法做到的科学发现。让我们去了解宇宙的奥秘。不仅如此，我真的相信科技进步是让生活变得更好、世界变得更美好的唯一可持续方式。如果我们能够解锁大量的新科学、新技术进步，我认为我们已经开始看到人们开始使用这些工具来提高效率。如果你想象一个世界，你可以说，嘿，我帮助我治愈了所有疾病，它也帮助你治愈了所有疾病，那么这将是一个非常美好的世界 我认为我们离那并不遥远。气候变化是如此严重和难以解决的问题 但我认为一旦我们拥有真正强大的超级智能，对于这样一个系统来说，应对气候变化不会特别困难。我们甚至可以解释如何解决气候问题。以下是我们解决气候变化的方法：您需要大量有效的碳捕获 您需要碳捕获所需的能量，你需要技术来构建它，你需要构建很多。如果你能加速科学进步，这是一个强大的人工智能可以做的事情，我们就可以更快地实现非常先进的碳捕获，我们可以更快地获得非常便宜的电力，我们可以更快地获得更便宜的制造能力。现在将这三者结合起来，廉价电力、廉价制造、先进的碳捕获，现在你建造了很多，现在你从大气中吸走了所有多余的二氧化碳。今天的这个计划，有些困难 如果你有一个 AI 可以非常显著地加速科学和工程，它就会变得非常简单。我认为这说明了我们应该有多大的梦想。设想一个系统，你可以说，告诉我如何廉价地生产大量清洁能源，告诉我如何有效地捕获碳，然后告诉我如何建立一个工厂来在行星规模上做到这一点。如果你能做到这一点，你也可以做很多其他事情。另外，您不仅要它告诉它，还要让它去做。当我的父母告诉我他们的朋友在日常生活中使用ChatGPT时，给我个人带来无尽的快乐 所以我想说，这对我来说绝对是非常令人惊讶和非常愉快的。很难选出几个最喜欢的故事，当你给了强大的工具时，世界的创造力和人们所做的事情真的很了不起。教育对我们来说是惊人的。有多少人写信说，这改变了我的生活，因为我可以学习现在任何东西，或者我学到了这个特定的东西，或者，我不知道该怎么做，现在我知道了。看到人们以一种新的更好的方式学习并想象几年后会是什么样子，我感到很高兴。我们能够以这种速度释放人类潜能，我们并没有完全预料到会发生这种情况，这真是太棒了。如果你真的相信人工智能会给人类带来危险，为什么还要继续开发它？你不为自己的亲人和家人担心吗？如果监管强加给你，强加给 OpenAI 和其他人工智能公司，你会遵守，或表现得像马克扎克伯格那样，试图逃避他发现的每一项监管吗？我们工作中最麻烦的部分是我们必须平衡这个令人难以置信的承诺和我认为人类真正需要的这项技术。第一，我确实认为，当我们回顾今天的生活水平和我们对人们的容忍度时，它看起来会比我们回顾 500 或 1000 年前人们的生活方式时更糟糕。我们会说，伙计，你能想象人们生活在贫困中吗？你能想象人们患有疾病吗？你能想象每个人都没有接受过非凡的教育，也能过上自己想要的生活吗？它看起来很野蛮。我认为未来的每个人都会过上比今天最优秀的人更好的生活。再一次，这样做的好处是巨大的。所以我认为弄清楚如何做到这一点是一种道德责任。我也认为这是不可阻挡的。这就是技术的进步，阻止它是行不通的。因此我们必须弄清楚如何管理风险。我们作为一家公司的成立在很大程度上是因为存在这种风险和解决它的需要我们有一个不寻常的结构，我们有一个利润上限，我相信激励是超能力，如果你设计正确的激励，你通常会得到你想要的行为。我只是想知道，你们使用的人工智能（和我们用的）之间的差距是什么，就像我们对Token和所有东西有很多限制，而你没有。你拥有的力量与我们可以使用的力量之间的差距是多少？您使用的模型与我们使用的模型之间存在的差距就是问题所在。好吧，我的意思是，现在，GPT-4，你可以访问 GPT-4，我们也可以。事实上，我们正在研究下一个未来模型也许我会这样描述差距，随着我们不断构建能力越来越强的人工智能，将会有更大的差距，更长的测试期，更长的时间，我们将进行红队，了解模型的局限性，了解尽可能多的方式，以我们认为不可接受的方式使用，然后逐渐扩大。例如，现在，GPT-4 具有视觉识别能力，我们还没有推出，因为最后的润色还没有完成，但很快我们就会。我正在学习计算机科学，我即将毕业，所以我想知道的是，我学什么，在 10 到 15 年后仍然有工作 ？我几乎再也不写代码了，但就学习如何思考、学习如何解决问题而言，（学习计算机科学）这是我做过的最好的事情之一。所以我认为它本身就很有价值，即使计算机程序员的工作看起来与今天看起来非常不同。我认为学习的主要技能是如何学习，如何快速学习，如何学习新事物，如何让它感知即将发生的事情，如何适应，如何有弹性，一种品味，如何弄清楚其他人想要什么，你怎么能有用。。。因此，毫无疑问，我们认为工作将会发生变化，工作的性质将会发生变化。而且，我无法想象一个人们不利用自己的时间为他人创造价值的世界。以及随之而来的所有好处。你知道，也许在未来你我关心的是谁拥有更酷的星系，但还是会有一些东西（不会变化）。我有一个关于超级智能和 Rokos Basilisk（罗科的怪蛇） 困境的问题。您能否详细说明 GPT 和 OpenAI 如何应对这一困境？所以虽然 Rokos Basilisk 是我们不太关心的东西，但我们肯定非常关心超级智能。不是每个听众都理解我们所说的超级智能的意思，对吧？有一天，当有可能建造一台计算机、一个计算机集群、一个 GPU农场时，它比任何人都更聪明，它可以比一大群经验丰富的科学家和工程师更快地进行科学和工程。它可以设计下一个版本的系统，就像人工智能构建人工智能一样 那太疯狂了。所以我们的立场是：超级智能是深刻的，它可以是令人难以置信的、令人难以置信的积极的，但也非常危险，需要谨慎对待这种危险。这就是为什么我们建议采用 IAEA（国际原子能组织） 方法来处理未来非常非常先进的尖端系统，超级智能。而且，我们需要做很多研究来遏制超级智能的力量，调整它们，以便它们的力量和能力被用来造福于我们，造福于人们。想想人类的进化史，四十亿年前，只有一个细胞，某种复制基因；观众问题：我想问你们两个，你们正在创造历史，你们希望历史如何记住你们？
