↑阅读之前记得关注+星标??，，每天才能第一时间接收到更新
Ilya 大神现身最新采访，整个采访持个半小时，全万字原汁原味呈现，这是最好的传达大神思想的方式，不用任何总结，强烈建议收藏逐字反复阅读
当然为了最快感受大神的思想，我随便挑了一些重点：
Ilya认为当前的方法会“走一段路，然后就走下坡路”，它们会不断改进，但无法实现通用人工智能
那种行之有效的系统是“我们目前还不知道如何构建的”
预计未来几年将对劳动力市场产生重大影响
主要瓶颈：泛化能力。模型在这方面远逊于人类
你可以训练模型解决所有竞技编程问题，但模型仍然无法培养出真正的“品味”，而一个青少年大约 10 个小时就能学会开车
评估分数看起来很棒，但实际性能却很差，因为强化学习训练最终会针对评估本身进行优化
真正的奖励黑客是那些设计这些基准和训练循环的研究人员
他说他知道还缺少什么，但不会公开分享
他预测，这种拥有“大陆级算力”的超级智能将在 5 到 20 年内诞生
“你知道最疯狂的是什么吗？这一切都是真的，我们生活在科幻中”这句话让我感同身受
在个半小时中Ilya 和主持人讨论了 SSI（Ilya的超级智能公司） 的战略、预训练存在的问题、如何提高 AI 模型的泛化能力，以及如何确保AGI的顺利发展
正文
Ilya Sutskever
你知道最疯狂的是什么吗？这这一切都是真实的。
Dwarkesh Patel
是指什么？
Ilya Sutskever
你不觉得吗？所有这些关于 AI 的事情，整个湾区的现状……它正在发生。这难道不像是科幻小说里的情节吗？
Dwarkesh Patel
另一件疯狂的事是，“慢速起飞”（slow takeoff）的感觉是如此平常。以前觉得如果我们把 GDP 的 1% 投入到 AI 中，那感觉会是一件惊天动地的大事，但现在感觉就像是……
Ilya Sutskever
事实证明，我们适应得很快。而且这也有点抽象。这到底意味着什么？意味着你在新闻里看到某某公司宣布了某某金额的投资。你只能看到这些。到目前为止，还没有在其他方面真正感受到它。
Dwarkesh Patel
我们要从这里开始聊吗？我觉得这是个有趣的讨论。
Ilya Sutskever
当然。
Dwarkesh Patel
我认为你的观点——即从普通人的角度来看，没什么太大的不同——甚至在奇点到来时也会继续成立。
Ilya Sutskever
不，我不这么认为。
Dwarkesh Patel
好吧，这很有趣。
Ilya Sutskever
我刚才指的“感觉没什么不同”，是因为比如某家公司宣布了一个难以理解的巨额投资数字。我觉得没人知道这意味这什么。
但我认为 AI 的影响将会被切实感受到。AI 将渗透到整个经济中。会有非常强大的经济力量推动这一点，我认为这种影响会被非常强烈地感受到。
Dwarkesh Patel
你预计这种影响什么时候会出现？我觉得现在的模型看起来比它们实际产生的经济影响要聪明得多。
Ilya Sutskever
是的。这是目前关于模型最令人困惑的事情之一。如何调和“它们在评估测试（evals）中表现如此出色”这一事实？你看那些测试，你会想，“这些题目挺难的?！?#23427们做得很好。但经济影响似乎大大滞后。很难理解，为什么模型一方面能做这些惊人的事情，另一方面却会在某些情况下重复犯错？
举个例子，假设你用“感觉编程”（vibe coding）做点什么。你做到某一步，然后遇到了一个 bug。你告诉模型：“能不能帮我修一下这个 bug？”模型说：“天哪，你太对了。确实有个 bug。让我来修好它?！?#28982后它引入了第二个 bug。你告诉它：“你有这个新的第二个 bug，”它又告诉你：“天哪，我怎么会这样？你又说对了，”然后它又把第一个 bug 带回来了，你就在这两个 bug 之间来回折腾。这怎么可能？我不确定，但这确实表明有一些奇怪的事情正在发生。
我有两个可能的解释。比较异想天开的解释是，也许强化学习（RL）训练让模型变得有点过于一根筋和狭隘，有点过于缺乏意识，即使它在其他方面让它们变得更有意识。正因为如此，它们无法完成一些基本的事情。
但还有另一种解释。以前人们做预训练（pre-training）时，“用什么数据训练”这个问题是有答案的，因为答案是“所有数据”。当你做预训练时，你需要所有的数据。所以你不用纠结是用这个数据还是那个数据。
但是当人们做 RL 训练时，他们确实需要思考。他们会说，“好吧，我们要为这个东西做这种 RL 训练，为那个东西做那种 RL 训练?！?#25454我所知，所有公司都有团队专门制作新的 RL 环境，并将其添加到训练组合中。问题是，那些环境是什么？自由度太高了。你可以制作的 RL 环境种类繁多。
有一件事是可以做的，而且我认为这是无意中发生的，就是人们从评估测试中汲取灵感。你会说，“嘿，我希望我们的模型在发布时表现得非常好。我想让评估分数看起来很棒。什么样的 RL 训练能在这个任务上有所帮助？”我认为这种事情确实发生了，这可以解释很多正在发生的事情。
如果你把这一点与“模型的泛化能力实际上并不够好”结合起来，这就有可能解释我们看到的许多现象，即评估表现与实际现实世界表现之间的脱节，这是我们今天甚至还没完全理解其含义的事情。
Dwarkesh Patel
我喜欢这个观点，真正的“奖励黑客”（reward hacking）其实是那些过于关注评估分数的人类研究员。
我认为有两种方式来理解，或者试图思考你刚才指出的问题。一种是，如果仅仅通过在编程竞赛中变得超人般强大，模型并不会自动变得更有品味、在改进代码库时表现出更好的判断力，那么你就应该扩展环境套件，这样你就不只是测试它在编程竞赛中的表现。它还应该能够为 X、Y 或 Z 制作最好的应用程序。
另一种，也许这正是你暗示的，就是问：“为什么在编程竞赛中变得超人般强大，却不能让你在更广泛的意义上成为一个更有品味的程序员？”也许我们要做的不应该是不断堆叠环境的数量和多样性，而是要找到一种方法，让你能从一个环境中学习，并在其他事情上提高表现。
Ilya Sutskever
我有一个人类的类比可能会有帮助。让我们以编程竞赛为例，既然你提到了。假设有两个学生。其中一个决定要成为最好的竞赛程序员，所以他们会在这个领域练习 10,000 小时。他们会解决所有问题，记住所有证明技巧，并且非常熟练地快速正确实现所有算法。通过这样做，他们成为了最好的之一。
第二个学生想，“哦，编程竞赛很酷?！?#20063许他们练习了 100 小时，少得多，但他们也做得很好。你认为哪一个在以后的职业生涯中会做得更好？
Dwarkesh Patel
第二个。
Ilya Sutskever
对。我认为这就是正在发生的事情。现在的模型更像第一个学生，甚至程度更甚。因为我们会说，模型应该擅长编程竞赛，所以让我们把有史以来的每一个编程竞赛问题都拿来。然后我们做一些数据增强，这样我们就有了更多的编程竞赛问题，然后我们在这些数据上训练。现在你得到了这个伟大的竞赛程序员。
用这个类比，我觉得更直观。是的，好吧，如果它训练得这么好，所有不同的算法和证明技巧都触手可及。但直觉告诉我们，这种程度的准备并不一定能泛化到其他事情上。
Dwarkesh Patel
但是，第二个学生在进行那 100 小时的微调之前，他在做什么？这里的类比是什么？
Ilya Sutskever
我觉得他们有“它”。那种“天赋”因素。我在读本科的时候，记得有个同学就是这样，所以我知道这种人是存在的。
Dwarkesh Patel
我觉得把这种“天赋”与预训练的作用区分开来很有趣。理解你刚才说的“不需要在预训练中选择数据”的一种方式是，这实际上与那 10,000 小时的练习并无二致。只是你免费得到了那 10,000 小时的练习，因为它已经在预训练分布中的某个地方了。但也许你是在暗示，实际上预训练并没有带来那么多的泛化。预训练中只有海量的数据，但它不一定比 RL 泛化得更好。
Ilya Sutskever
预训练的主要优势在于：A，数据量巨大；B，你不需要费尽心思去想把什么数据放入预训练中。它是非常自然的数据，确实包含了很多人们做的事情：人们的思想和很多特征。它就像是整个世界被人们投射到了文本上，而预训练试图利用海量数据来捕捉这一点。
预训练很难推理，因为很难理解模型依赖预训练数据的方式。每当模型犯错时，是不是因为某些东西碰巧没有得到预训练数据的充分支持？“预训练支持”也许是个宽泛的术语。我不知道我还能不能补充更多有用的东西。我不认为预训练有人类层面的类比。
Dwarkesh Patel
有些人提出过预训练的人类类比。我很想听听你认为它们为什么可能是错的。一种是把这看作人生的前 18 年、15 年或 13 年，那时他们不一定有经济产出，但他们在做一些让他们更好地理解世界的事情。另一种是把进化看作是进行了 30 亿年的搜索，然后产生了一个人类生命实例。
我很好奇你是否认为这些可以类比预训练。如果不是预训练，你会如何看待人类的终身学习？
Ilya Sutskever
我认为这两者与预训练之间都有一些相似之处，预训练试图扮演这两者的角色。但我认为也有一些巨大的差异。预训练的数据量非常非常惊人。
Dwarkesh Patel
是的。
Ilya Sutskever
不知何故，一个人即使过了 15 年，接触到的数据只是预训练数据的一小部分，他们知道的东西少得多。但无论他们知道什么，不知何故他们理解得更深。在这个年纪，你就不会犯我们 AI 犯的那种错误了。
还有一件事。你会说，这可能是像进化一样的东西吗？答案是也许。但在这种情况下，我认为进化实际上可能更有优势。我记得读过这个案例。神经科学家了解大脑的一种方式是研究大脑不同部位受损的人。有些人的症状奇怪到你无法想象。这真的非常有趣。
我想到了一个相关的案例。我读到过一个人，他的大脑受到某种损伤，中风或事故，导致他的情感处理能力丧失。所以他不再感觉到任何情绪。他仍然非常善于表达，能解决小谜题，在测试中看起来一切正常。但他感觉不到情绪。他不感到悲伤，不感到愤怒，也不感到兴奋。不知何故，他变得极不擅长做任何决定。决定穿哪双袜子都要花好几个小时。他会做出非常糟糕的财务决定。
这说明了我们内置的情绪在使我们成为一个可行的智能体方面扮演了什么角色？联系到你关于预训练的问题，也许如果你足够擅长从预训练中获取一切，你也能得到那个。但这似乎是那种……嗯，从预训练中获得那个东西可能是可能的，也可能不可能。
Dwarkesh Patel
“那个”是什么？显然不仅仅是直接的情绪。它看起来像是某种类似价值函数（value function）的东西，它告诉你任何决定的最终回报应该是什么。你认为这不会从预训练中隐式地产生吗？
Ilya Sutskever
我认为它是可以的。我只是说这不是 100% 显而易见的。
Dwarkesh Patel
但这到底是什么？你怎么看待情绪？情绪在机器学习（ML）中的类比是什么？
Ilya Sutskever
它应该是某种价值函数的东西。但我不认为有一个很好的 ML 类比，因为目前，价值函数在人们做的事情中并没有发挥非常突出的作用。
Dwarkesh Patel
如果方便的话，也许值得为观众定义一下什么是价值函数。
Ilya Sutskever
当然，我很乐意。当人们做强化学习（RL）时，目前的做法是如何训练这些智能体的？你有一个神经网络，给它一个问题，然后告诉模型，“去解决它?！?#27169型会采取数千甚至数十万个动作或思考步骤，然后产生一个解决方案。这个解决方案会被打分。
然后，这个分数被用来为你轨迹中的每一个动作提供训练信号。这意味着，如果你在做一件持续时间很长的事情——如果你在训练一个需要很长时间才能解决的任务——在你想出提议的解决方案之前，它完全不会进行任何学习。这就是目前天真的 RL 做法。这就是 o1、R1 表面上的做法。
价值函数的意思是，“也许有时（不总是）我可以告诉你，你做得是好是坏?！?#20215值函数的概念在某些领域比其他领域更有用。例如，当你下国际象棋丢了一个棋子，我搞砸了。你不需要下完整局棋就知道我刚才做的是坏事，因此导致这一切的前序动作也是坏的。
价值函数让你不必等到最后。假设你在做某种数学或编程的事情，你试图探索一个特定的解决方案或方向。在思考了比如一千步之后，你得出结论这个方向没有希望。一旦你得出这个结论，你就可以在一千个时间步之前，当你决定走这条路时，就已经得到一个奖励信号。你会说，“下次在类似情况下我不应该走这条路”，这早在你真正拿出提议的解决方案之前。
Dwarkesh Patel
这在 DeepSeek R1 的论文里提到过——轨迹的空间太广了，也许很难学习从中间轨迹到价值的映射。而且考虑到，例如在编程中，你会有一个错误的想法，然后你会回过头去，改变一些东西。
Ilya Sutskever
这听起来像是对深度学习缺乏信心。当然这可能很难，但没有什么深度学习做不到的。我的预期是价值函数应该是有用的，我完全预计它们将在未来被使用，如果不是已经在用的话。
我提到的那个情感中枢受损的人的例子，更多是暗示也许人类的价值函数在某种重要方面受到情绪的调节，这是进化硬编码的。也许这对人类在世界上有效行事很重要。
Dwarkesh Patel
这正是我打算问你的。关于价值函数的情绪有一些非常有趣的地方，那就是它们在如此有用的同时，理解起来却相当简单，这令人印象深刻。
Ilya Sutskever
我有两个回应。我确实同意，与我们学习的东西以及我们正在讨论的 AI 相比，情绪相对简单。它们甚至简单到也许你可以用人类可理解的方式将它们绘制出来。我觉得这样做会很酷。
但在实用性方面，我认为存在一种复杂性与鲁棒性的权衡，复杂的东西可能非常有用，但简单的东西在非常广泛的情况下都非常有用。解释我们所见现象的一种方式是，我们的情绪大多是从我们的哺乳动物祖先演化而来的，然后在我们成为原始人类时进行了一点微调，只是一点点。不过我们确实有相当数量的社会性情绪，这是哺乳动物可能缺乏的。但它们并不是非常复杂。正是因为它们不复杂，所以在这个与我们一直生活的世界截然不同的世界里，它们依然能很好地为我们服务。
实际上，它们也会犯错。例如，我们的情绪……其实，我不知道。饥饿算是一种情绪吗？这有争议。但我认为，例如，我们直觉上的饥饿感在这个食物充足的世界里并没有成功地正确引导我们。
Dwarkesh Patel
人们一直在谈论扩展数据、扩展参数、扩展算力。有没有更通用的方式来思考扩展（scaling）？还有哪些其他的扩展维度？
Ilya Sutskever
这里有一个我认为可能是正确的视角。过去机器学习的工作方式是，人们只是修修补补，试图得到有趣的结果。过去一直都是这样。
然后扩展的洞见出现了。Scaling Laws（扩展定律）、GPT-3，突然之间大家都意识到我们应该进行扩展。这是语言影响思维的一个例子。“Scaling”只是一个词，但它是一个非常有力的词，因为它告诉人们该做什么。他们说，“让我们试着扩展东西?！?#25152以你会问，我们在扩展什么？预训练是要扩展的东西。它是一个特定的扩展配方。
预训练的巨大突破在于意识到这个配方是好的。你会说，“嘿，如果你把一些算力和一些数据混合到一个特定大小的神经网络中，你会得到结果。你知道只要按比例放大这个配方，你就会变得更好?！?#36825也太棒了。公司喜欢这个，因为它提供了一种风险极低的方式来投资资源。
投资研究要难得多。比较一下。如果你做研究，你需要说，“去吧研究员们，去研究并想出点什么来”，对比“获取更多数据，获取更多算力”。你知道你会从预训练中得到东西。
确实，根据一些人在推特上的说法，看起来 Gemini 可能已经找到了一种从预训练中获得更多收益的方法。但在某个时刻，预训练的数据会用完。数据显然是有限的。接下来你做什么？要么你做某种增强版的预训练，一种与以前不同的配方，要么你做 RL，或者可能是其他东西。但现在算力很大，算力现在非常大，从某种意义上说，我们又回到了研究时代。
也许换一种说法。直到 2020 年，从 2012 年到 2020 年，是研究时代。然后，从 2020 年到 2025 年，是扩展时代——也许加减一些误差范围——因为人们说，“这太惊人了。你必须扩展更多。继续扩展?！?#36825一个词：扩展。
但现在规模已经这么大了。信念真的是“哦，它这么大，但如果你有 100 倍以上，一切都会变得如此不同”吗？肯定会有不同。但信念是只要把规模扩大 100 倍，一切都会发生质变吗？我不认为这是真的。所以这又回到了研究时代，只是有了大电脑。
Dwarkesh Patel
这是一种非常有趣的说法。但让我问你刚才提出的问题。我们在扩展什么，拥有一个配方意味着什么？我想我还不知道预训练中存在的那种非常干净的、几乎看起来像物理定律的关系。在数据、算力或参数与损失之间存在幂律关系。我们应该寻求什么样的关系，我们应该如何思考这个新配方可能是什么样子的？
Ilya Sutskever
我们已经见证了从一种类型的扩展向另一种类型的扩展的转变，从预训练到 RL。现在人们正在扩展 RL。根据人们在推特上的说法，他们在 RL 上花费的算力此时比预训练还多，因为 RL 实际上可以消耗相当多的算力。你做很长的推演（rollouts），所以产生这些推演需要很多算力。然后你从每个推演中获得相对较少的学习量，所以你真的可以花费很多算力。
我甚至不会称之为扩展。我会说，“嘿，你在做什么？你做的事情是你最能产出的事情吗？你能找到一种更有效利用算力的方法吗？”我们之前讨论过价值函数的事情。也许一旦人们擅长价值函数，他们将更有效地利用资源。如果你发现了一种完全不同的训练模型的方法，你会说，“这是扩展还是仅仅是利用你的资源？”我认为这变得有点模棱两可。
某种意义上，当人们回到那时的研究时代，就是“让我们试试这个、这个和这个。让我们试试那个、那个和那个。哦，看，有趣的事情发生了?！?#25105认为将会回归到这种状态。
Dwarkesh Patel
如果我们回到了研究时代，退一步说，我们需要最深入思考的配方部分是什么？当你提到价值函数时，人们已经在尝试当前的配方，比如用 LLM-as-a-Judge（大模型作为裁判）等等。你可以说那是一个价值函数，但听起来你有更本质的想法。我们是否应该彻底重新思考预训练，而不仅仅是在那个过程的末尾添加更多步骤？
Ilya Sutskever
关于价值函数的讨论，我认为很有趣。我想强调，我认为价值函数会让 RL 更有效率，我认为这很重要。但我认为任何你可以用价值函数做的事，你不用它也能做，只是更慢。我认为最根本的事情是，这些模型不知何故泛化能力比人类差得多。这非常明显。这似乎是一个非常根本的事情。
Dwarkesh Patel
这就是关键：泛化。这有两个子问题。一个是关于样本效率：为什么这些模型学习需要比人类多得多的数据？还有第二个问题。即使不谈所需的数据量，为什么教模型我们要的东西比教人类要难得多？对于人类，我们不一定需要一个可验证的奖励来……你现在可能正在指导一群研究人员，你和他们交谈，向他们展示你的代码，向他们展示你是如何思考的。从中，他们学到了你的思维方式以及他们应该如何做研究。
你不需要为他们设定一个可验证的奖励，比如“好，这是课程的下一部分，现在这是你课程的下一部分。哦，这次训练不稳定?！?#27809有这种繁琐的、定制的过程。也许这两个问题实际上以某种方式相关，但我很想探讨这第二件事，这更像是终身学习（continual learning），而第一件事感觉就像是样本效率。
Ilya Sutskever
其实你可以思考，对人类样本效率的一种可能的解释是进化。进化给了我们少量最有用信息的先验。对于视觉、听觉和运动这些东西，我认为有很强的理由证明进化给了我们很多。
例如，人类的灵巧度远远超过……我是说，如果你在模拟中对机器人进行大量训练，它们也能变得灵巧。但在现实世界中训练机器人像人一样快速掌握一项新技能似乎遥不可及。在这里你可以说，“哦是的，运动能力。我们所有的祖先都需要极好的运动能力，比如松鼠。所以对于运动能力，也许我们有一些不可思议的先验?！?/p>
你可以为视觉提出同样的理由。我相信 Yann LeCun 提出过一个观点，孩子在 10 小时的练习后学会开车，这是真的。但我们的视觉太好了。至少对我来说，我记得我五岁的时候。那时候我对汽车非常兴奋。我敢肯定，我五岁时的汽车识别能力已经足以用来开车了。作为一个五岁的孩子，你看不到那么多数据。你大部分时间都待在父母家里，所以数据多样性很低。
但你可以说也许那也是进化。但在语言、数学和编程方面，可能不是。
Dwarkesh Patel
它看起来仍然比模型好。显然，模型在语言、数学和编程方面比普通人好。但它们在学习方面比普通人好吗？
Ilya Sutskever
哦是的。哦是的，绝对的。我想说的是，语言、数学和编程——尤其是数学和编程——表明，无论是什么让人类擅长学习，可能不仅仅是一个复杂的先验，而是更多的东西，某种根本性的东西。
Dwarkesh Patel
我不确定我理解了。为什么会这样？
Ilya Sutskever
考虑一项人们表现出某种巨大可靠性的技能。如果这项技能对我们的祖先在数百万年、数亿年里都非常有用，你可以争辩说，也许人类擅长它是因为进化，因为我们有一个先验，一个以某种非常不明显的方式编码的进化先验，不知何故使我们如此擅长它。
但是，如果人们在一个直到最近才存在的领域表现出巨大的能力、可靠性、鲁棒性和学习能力，那么这更多地表明人们可能只是拥有更好的机器学习机制，句号。
Dwarkesh Patel
我们应该如何思考那是什么？什么是 ML 类比？这里有几件有趣的事情。它需要更少的样本。它更像是无监督的。一个孩子学开车……孩子不学开车。一个青少年学开车并不是真的得到了某种预先建立的、可验证的奖励。它来自他们与机器和环境的互动。它需要的样本少得多。它看起来更无监督。它看起来更鲁棒？
Ilya Sutskever
鲁棒得多。人类的鲁棒性真的令人震惊。
Dwarkesh Patel
你有没有一个统一的方式来思考为什么所有这些事情同时发生？能够实现类似这种东西的 ML 类比是什么？
Ilya Sutskever
你一直在问的一件事是，青少年司机如何在没有外部老师的情况下自我纠正并从经验中学习？答案是他们有自己的价值函数。他们有一种普遍的感觉，顺便说一下，这种感觉在人身上也非常鲁棒。无论人类的价值函数是什么，除了成瘾等少数例外，它实际上非常非常鲁棒。
所以对于像学开车的青少年来说，他们开始开车，马上就能感觉到自己开得怎么样，有多糟糕，多不自信。然后他们看到，“好的。”然后，当然，任何青少年的学习速度都太快了。10 个小时后，你就可以上路了。
Dwarkesh Patel
看起来人类有某种解决方案，但我很好奇他们是如何做到的，以及为什么这这么难？我们需要如何重新构想训练模型的方式来实现这种可能？
Ilya Sutskever
这是一个很好的问题，这也是我有很多观点的问题。但不幸的是，我们生活在一个并非所有机器学习想法都可以自由讨论的世界里，这就是其中之一。可能有一种方法可以做到。我认为这是可以做到的。人们就是这样，我认为这证明了它是可以做到的。
不过可能还有另一个阻碍，就是人类神经元进行的计算量可能比我们要多。如果是真的，如果那起到了重要作用，那么事情可能会更困难。但无论如何，我确实认为这指向了某种机器学习原则的存在，对此我有自己的看法。但不幸的是，环境使得很难详细讨论。
Dwarkesh Patel
我很好奇。如果你说我们回到了研究时代，你在 2012 年到 2020 年就在那里。如果我们要回到研究时代，现在的氛围会是什么样的？
例如，即使在 AlexNet 之后，用于运行实验的算力也在不断增加，前沿系统的规模也在不断增加。你认为现在的研究时代是否仍然需要大量的算力？你认为这需要回到档案馆去阅读旧论文吗？
当你在 Google、OpenAI 和斯坦福这些地方时，那时有更多的研究氛围？我们在社区中应该期待什么样的事情？
Ilya Sutskever
扩展时代的一个后果是，扩展吸走了房间里所有的空气。因为扩展吸走了所有的空气，每个人都开始做同样的事情。我们到了这样一个地步，世界上的公司比想法多得多。实际上关于这一点，硅谷有句俗话说，想法是廉价的，执行就是一切。人们常这么说，这也确实有道理。但我看到有人在 Twitter 上说，“如果想法这么廉价，怎么没人有想法呢？”我觉得这也是真的。
如果你从瓶颈的角度思考研究进展，有几个瓶颈。其中一个是想法，另一个是你实现它们的能力，这可能是算力也可能是工程。如果你回到 90 年代，假设有人有很好的想法，如果他们有更大的计算机，也许他们可以证明他们的想法是可行的。但他们做不到，所以他们只能做一个非常非常小的演示，无法说服任何人。所以瓶颈是算力。
然后在扩展时代，算力增加了很多。当然，有个问题是需要多少算力，但算力是巨大的。算力大到你并不明显需要更多的算力来证明某个想法。我给你一个类比。AlexNet 是在两个 GPU 上构建的。那是它使用的总算力。Transformer 是在 8 到 64 个 GPU 上构建的。2017 年没有任何单一的 Transformer 论文实验使用的 GPU 超过 64 个，这大概相当于今天的两个 GPU？ResNet 也是，对吧？你可以争辩说 o1 推理并不是世界上最耗算力的东西。
所以对于研究，你肯定需要一定量的算力，但这远不意味着你需要有史以来绝对最大的算力来进行研究。你可能会争辩，而且我认为这是真的，如果你想构建绝对最好的系统，那么拥有更多的算力会有帮助。特别是如果每个人都在同一个范式内，那么算力就成了巨大的差异化因素。
Dwarkesh Patel
我问你历史是因为你当时真的在场。我不确定实际发生了什么。听起来使用最少的算力来开发这些想法是可能的。但 Transformer 并没有立即变得出名。它成为了每个人开始做的事情，然后开始在其基础上进行实验和构建，因为它在更高层级的算力上得到了验证。
Ilya Sutskever
没错。
Dwarkesh Patel
如果你在 SSI 有 50 个不同的想法，如果不拥有其他前沿实验室那种算力，你怎么知道哪一个是下一个 Transformer，哪一个是脆弱的？
Ilya Sutskever
我可以评论一下。简短的评论是，你提到了 SSI。具体对我们来说，SSI 用于研究的算力真的不小。我想解释一下为什么。简单的数学可以解释为什么我们拥有的研究算力比人们想象的要多。我会解释。
SSI 筹集了 30 亿美元，这在绝对意义上是一笔巨款。但你会说，“看看其他筹集更多资金的公司?！?#20294他们的大部分算力都用于推理（inference）。这些大数字，这些大额贷款，是专门用于推理的。这是第一点。第二，如果你想拥有一个进行推理的产品，你需要有庞大的工程师、销售人员团队。大量的研究需要致力于生产各种与产品相关的功能。所以当你看看实际上留给研究的是什么时，差距就变得小得多了。
另一件事是，如果你在做不同的事情，你真的需要绝对最大的规模来证明它吗？我不认为这是真的。我认为在我们的案例中，我们有足够的算力来证明，来说服我们自己和其他任何人，我们在做的事情是正确的。
Dwarkesh Patel
有公开估计称，像 OpenAI 这样的公司仅在实验上每年就花费 50-60 亿美元。这与他们在推理等方面的支出是分开的。所以看起来他们每年运行研究实验的支出比你们的总资金还多。
Ilya Sutskever
我认为这是一个你用它做什么的问题。这是一个你用它做什么的问题。在他们的情况下，在其他人的情况下，对训练算力有更多的需求。有更多不同的工作流，有不同的模态，只是有更多的东西。所以它变得碎片化了。
Dwarkesh Patel
SSI 将如何赚钱？
Ilya Sutskever
我对这个问题的回答是这样的。现在，我们只专注于研究，然后这个问题的答案会自己显现出来。我认为会有很多可能的答案。
Dwarkesh Patel
SSI 的计划仍然是直通超级智能吗？
Ilya Sutskever
也许。我认为这样做有其优点。我认为这有很多优点，因为不受日常市场竞争的影响是非常好的。但我认为有两个原因可能会导致我们改变计划。一个是务实的，如果时间线变得很长，这是可能的。其次，我认为最强大、最好的 AI 在外面影响世界是有很大价值的。我认为这是一件有意义且有价值的事情。
Dwarkesh Patel
那为什么你的默认计划是直通超级智能？因为听起来 OpenAI、Anthropic 以及所有其他公司，他们的明确想法是，“看，我们有越来越弱的智能，公众可以适应并为此做好准备?！?#20026什么直接构建超级智能可能更好？
Ilya Sutskever
我会分别陈述支持和反对的理由。支持的理由是，人们在市场中面临的挑战之一是他们必须参与激烈的竞争（rat race）。这种竞争非常困难，因为它让你面临需要做出的艰难权衡。说“我们将把自己与这一切隔离开来，只专注于研究，只在准备好时才出来，而不是之前”是很好的。但反驳也是有效的，那是相反的力量。反驳是，“嘿，让世界看到强大的 AI 是有用的。让世界看到强大的 AI 是有用的，因为那是你能够传达它的唯一方式。”
Dwarkesh Patel
我想甚至不仅仅是你能够传达这个想法——
Ilya Sutskever
传达 AI，不是想法。传达 AI。
Dwarkesh Patel
你说的“传达 AI”是什么意思？
Ilya Sutskever
假设你写了一篇关于 AI 的文章，文章说，“AI 将会是这样，AI 将会是那样，它会是这个?！?#20320读了之后说，“好的，这是一篇有趣的文章?！?#29616在假设你看到一个 AI 做这个，一个 AI 做那个。这是无法比拟的。基本上我认为 AI 公开化有很大的好处，这将是我们不完全直通的一个理由。
Dwarkesh Patel
我想甚至不仅仅是那个，虽然我确实认为那是其中的重要部分。另一件大事是，我想不出人类工程和研究中有哪一门学科，其最终产品主要是通过仅仅思考如何使其安全而变得更安全的，相比之下——为什么今天的飞机每英里坠毁率比几十年前低得多。为什么现在在 Linux 中找 bug 比几十年前难得多？我认为这主要是因为这些系统被部署到了世界上。你注意到了故障，这些故障被纠正了，系统变得更加健壮。
我不确定为什么 AGI 和超人类智能会有什么不同，尤其是考虑到——我希望我们会谈到这点——看起来超级智能的危害不仅仅是关于有一个恶意的回形针制造者。这是一个真正强大的东西，我们甚至不知道如何概念化人们如何与之互动，人们会用它做什么。逐步接触它似乎是分散其影响并帮助人们为此做好准备的更好方式。
Ilya Sutskever
嗯，我认为关于这一点，即使在直通方案中，你仍然会逐步发布它，我是这样想象的。渐进主义将是任何计划的固有组成部分。只是问题在于你推出的第一件东西是什么。这是第一点。
第二，我相信你比其他人更提倡终身学习（continual learning），而且我实际上认为这是一件重要且正确的事情。原因如下。我给你另一个语言如何影响思维的例子。在这种情况下，我认为有两个词塑造了每个人的思维。第一个词：AGI。第二个词：预训练。让我解释一下。
AGI 这个术语，为什么这个术语存在？这是一个非常特别的术语。它为什么存在？有原因的。在我看来，AGI 这个术语之所以存在，与其说是因为它是某种智能终极状态的非常重要、本质的描述，不如说它是因为它是对另一个存在的术语的反应，那个术语是“狭义 AI”（narrow AI）。如果你回到游戏和 AI、跳棋 AI、国际象棋 AI、电脑游戏 AI 的远古历史，每个人都会说，看这个狭义的智能。当然，国际象棋 AI 可以击败卡斯帕罗夫，但它不能做任何其他事情。它是如此狭隘，人工狭义智能。所以作为回应，作为对此的反应，有些人说，这不好。它太狭隘了。我们需要的是通用 AI，一个可以做所有事情的 AI。那个术语获得了很多关注。
第二个获得很多关注的是预训练，特别是预训练的配方。我认为人们现在做 RL 的方式可能正在消除预训练的概念印记。但预训练有这种属性。你做更多的预训练，模型在所有方面都会变得更好，或多或少是一致的。通用 AI。预训练产生 AGI。
但是 AGI 和预训练发生的事情是，在某种意义上它们超出了目标。如果你在预训练的背景下思考“AGI”这个术语，你会意识到人类并不是一个 AGI。是的，肯定有技能的基础，但人类缺乏大量的知识。相反，我们依赖终身学习。
所以当你思考，“好吧，假设我们取得了成功，我们产生某种安全的超级智能?！?#38382题是，你如何定义它？它会在终身学习曲线的哪里？
我生产了一个超级聪明的 15 岁少年，非常渴望出发。他们知道的不多，是一个很好的学生，非常渴望。你去当程序员，你去当医生，去学习。所以你可以想象部署本身将涉及某种学习试错期。这是一个过程，而不是你扔出一个成品。
Dwarkesh Patel
我明白了。你是在暗示你指出的超级智能不是某种已经知道如何做经济中每一项工作的成品思维。因为，比如说，最初的 OpenAI 章程或其他文件定义 AGI 的方式是，它可以做每一项工作，人类能做的每一件事。你提议的是一种可以 学会 做每一项工作的思维，那就是超级智能。
Ilya Sutskever
是的。
Dwarkesh Patel
但是一旦你有了学习算法，它就会像人类劳动力加入组织一样被部署到世界上。
Ilya Sutskever
完全正确。
Dwarkesh Patel
看起来这两种情况之一可能会发生，也许这两种情况都不会发生。第一，这种超级高效的学习算法变得超人，变得和你一样好，甚至可能比你更好，在 ML 研究任务上。结果算法本身变得越来越超人。
另一个是，即使那没有发生，如果你有一个单一的模型——这显然是你的愿景——模型的实例被部署到整个经济中做不同的工作，学习如何做那些工作，在工作中不断学习，学会任何人能学会的所有技能，但同时也学会所有技能，然后合并它们的学习成果，你基本上就有了一个功能上变得超级智能的模型，即使软件没有任何递归的自我改进。因为你现在有了一个可以做经济中每一项工作的模型，而人类无法以同样的方式合并我们的思想。所以你预计广泛部署会带来某种智能爆炸吗？
Ilya Sutskever
我认为我们很可能会有快速的经济增长。我认为随着广泛部署，你可以提出两个相互冲突的论点。一个是，一旦你确实到了拥有一个可以快速学习做事的 AI 并且你有很多这样的 AI 的地步，那么将会有一股强大的力量将它们部署到经济中，除非会有某种监管阻止它，顺便说一句，可能会有。
但是关于非常快速的经济增长的想法，我认为从广泛部署来看是非常可能的。问题是它会有多快。我认为这很难知道，因为一方面你有这个非常高效的工人。另一方面，世界真的很大，有很多东西，而那些东西以不同的速度移动。但另一方面，现在 AI 可以……所以我认为非常快速的经济增长是可能的。我们将看到各种各样的事情，比如不同的国家有不同的规则，那些规则更友好的国家，经济增长会更快。很难预测。
Dwarkesh Patel
在我看来，这是一个非常不稳定的处境。在极限情况下，我们知道这应该是可能的。如果你有某种在学习方面和人类一样好，但可以合并其大脑——以人类无法合并的方式合并不同实例——的东西，这似乎是一件物理上应该可能的事情。人类是可能的，数字计算机是可能的。你只需要把这两者结合起来就能产生这个东西。
看起来这种东西也非常强大。经济增长是描述它的一种方式。戴森球也是很多经济增长。但另一种说法是，你将在可能非常短的时间内拥有……你在 SSI 雇佣人，六个月后，他们可能就是净产出的。人类学得很快，而这个东西正变得越来越聪明。你如何考虑让这一切顺利进行？为什么 SSI 定位于能做好这件事？SSI 在那里的计划是什么，这基本上就是我想问的。
Ilya Sutskever
我的想法发生变化的一种方式是，我现在更加重视 AI 的增量部署和提前部署。关于 AI 的一件非常困难的事情是，我们正在谈论尚不存在的系统，很难想象它们。
我认为正在发生的一件事是，实际上很难 感觉到 AGI。很难感觉到 AGI。我们可以谈论它，但这就像谈论当你年老体弱时是什么感觉。你可以谈论，你可以试图想象，但这很难，你会回到那不是事实的现实中。我认为许多围绕 AGI 及其未来力量的问题源于这样一个事实：很难想象。未来的 AI 会有所不同。它将会很强大。确实，AI 和 AGI 的问题是什么？整个问题就是力量。整个问题就是力量。
当力量真的很大时，会发生什么？我在过去一年中改变主意的一种方式——这种改变，我会稍微对冲一下，可能会反向传播到我们公司的计划中——是，如果很难想象，你做什么？你必须展示这个东西。你必须展示这个东西。我坚持认为，大多数从事 AI 工作的人也无法想象它，因为它与人们日常看到的东西太不同了。
我确实坚持，这是我的一个预测。我坚持认为随着 AI 变得更强大，人们会改变他们的行为。我们将看到各种前所未有的事情，这些事情现在还没有发生。我会举一些例子。我认为不管是好是坏，前沿公司将在发生的事情中扮演非常重要的角色，政府也是如此。我认为你会看到的事情，你已经看到了开端，那就是作为激烈竞争对手的公司开始在 AI 安全方面进行合作。你可能已经看到 OpenAI 和 Anthropic 迈出了一小步，但这以前是不存在的。这是我在大约三年前的一次演讲中预测的事情，这种事情会发生。我还坚持认为，随着 AI 继续变得更强大，更明显地强大，政府和公众也会渴望做点什么。我认为这是一股非常重要的力量，即展示 AI。
这是第一点。第二点，好的，AI 正在被构建。需要做什么？我坚持认为会发生的一件事是，目前，从事 AI 工作的人，我坚持认为 AI 并不让人感到强大，是因为它的错误。我确实认为在某个时刻，AI 会开始让人感到真正强大。我认为当这种情况发生时，我们将看到所有 AI 公司对待安全的方式发生巨大变化。他们会变得更加偏执。我这是作为一个预测说出来的，我们会看到这种事发生。我们要看看我是不是对的。但我认为这是会发生的，因为他们会看到 AI 变得更强大。目前发生的一切，我坚持认为是因为人们看着今天的 AI，很难想象未来的 AI。
还有第三件事需要发生。我是从更广泛的角度说的，不仅仅是从 SSI 的角度，因为你问到了我们公司。问题是，公司应该渴望建立什么？他们应该渴望建立什么？有一个每个人都被锁定的大主意，那就是自我改进的 AI。为什么会这样？因为想法比公司少。但我坚持认为有更好的东西可以建立，我认为每个人都会想要那个。
那就是稳健地对齐以关爱感知生命（sentient life）的 AI。我想特别指出，有理由认为建立一个关心感知生命的 AI 比建立一个只关心人类生命的 AI 更容易，因为 AI 本身将是有感知的。如果你想想镜像神经元和人类对动物的同理心，你可能会说这不够大，但它确实存在。我认为这是一种涌现属性，源于我们用模拟自己的同一回路来模拟他人，因为那是最高效的做法。
Dwarkesh Patel
即使你让 AI 关心感知生物——如果真的解决了对齐问题，我不清楚这是否就是你应该尝试做的——情况仍然是，大多数感知生物将是 AI。最终会有数万亿、数千万亿的 AI。人类将是感知生物中非常小的一部分。所以如果不清楚目标是对这个未来文明进行某种人类控制，那么我不清楚这是不是最好的标准。
Ilya Sutskever
这是真的。它可能不是最好的标准。我会说两点。第一，关心感知生命，我认为有其优点。应该被考虑。我认为如果有一些公司在处于这种情况下时可以使用的简短想法清单，那会有所帮助。这是第二点。
第三，我认为如果最强大的超级智能的力量以某种方式被设定上限，那将真的有实质性的帮助，因为这将解决很多这些担忧。关于如何做到这一点的问题，我不确定，但我认为当你谈论真正、真正强大的系统时，那将有实质性的帮助。
Dwarkesh Patel
在我们继续对齐讨论之前，我想深入探讨一下这一点。顶部有多少空间？你是如何看待超级智能的？利用这个学习效率的想法，你认为它可能只是在学习新技能或新知识方面极快吗？它是否只是拥有更大的策略池？中心是否有一个单一的、有凝聚力的“它”更强大或更大？如果是这样，你是否想象这与其余人类文明相比会像神一样，还是它只是感觉像另一个智能体，或另一组智能体？
Ilya Sutskever
这是不同人有不同直觉的领域。我认为它肯定会非常强大。我认为最有可能发生的是，大约在同一时间会有多个这样的 AI 被创造出来。我认为如果集群足够大——比如如果集群真的是大陆级的——那个东西可能会非常强大，确实如此。如果你真的拥有一个大陆级的集群，那些 AI 可能会非常强大。我能告诉你的是，如果你在谈论极其强大的 AI，真正极其强大的，如果它们能以某种方式受到限制，或者有某种协议之类的东西，那就太好了。
超级智能的担忧是什么？解释这种担忧的一种方式是什么？如果你想象一个足够强大的系统，真的足够强大——你可以说你需要做一些理智的事情，比如以一种非常专一的方式关心感知生命——我们可能不喜欢结果。这就是它的本质。
顺便说一句，也许答案是你不用通常意义上的 RL 智能体。我会指出几件事。我认为人类是半 RL 智能体。我们追求奖励，然后情绪或其他东西让我们对奖励感到厌倦，我们追求不同的奖励。市场是一种非常短视的智能体。进化也是一样。进化在某些方面非常聪明，但在其他方面非常愚蠢。政府被设计成三个部分之间永无止境的斗争，这也是一种效果。所以我想像这样的事情。
另一件让这个讨论变得困难的事情是，我们谈论的是不存在的系统，我们不知道如何构建。那是另一件事，实际上这也是我的信念。我认为人们现在正在做的事情会走一段距离，然后逐渐平息。它会继续改进，但它也不会是“那个东西”。我们不知道如何构建“那个东西”，很多都取决于理解可靠的泛化。
我还要说另一件事。你可以说导致对齐困难的原因之一是，你学习人类价值观的能力是脆弱的。然后你优化它们的能力是脆弱的。你实际上学会了去优化它们。你难道不能说，“这些不都是不可靠泛化的例子吗？”为什么人类似乎泛化得这么好？如果泛化能力好得多呢？在这种情况下会发生什么？会有什么效果？但这些问题目前仍然无法回答。
Dwarkesh Patel
人们该如何思考 AI 进展顺利是什么样子的？你已经勾勒了 AI 可能如何演变。我们将拥有这类终身学习智能体。AI 将非常强大。也许会有许多不同的 AI。你怎么看待许多大陆级算力的智能体四处游荡？那有多危险？我们如何让它变得不那么危险？我们如何以一种保护平衡的方式做到这一点，即使外面可能有未对齐的 AI 和坏人？
Ilya Sutskever
这也是我喜欢“关心感知生命的 AI”的一个原因。我们可以争论它是好是坏。但如果前 N 个这样的剧变性系统真的关心、爱护人类或者什么的，关心感知生命，显然这也就必须实现。这需要被实现。所以如果前 N 个系统实现了这一点，那么我可以看到它进展顺利，至少在相当长的一段时间内。
然后就是长期会发生什么的问题。你如何实现长期均衡？我认为那里也有一个答案。我不喜欢这个答案，但它需要被考虑。
长期来看，你可能会说，“好吧，如果你有一个强大的 AI 存在的世界，短期内，你可以说你有普遍高收入。你有普遍高收入，我们都过得很好。”但佛教徒怎么说？“变化是唯一的常数。”事情会变。有某种政府、政治结构的东西，它会变，因为这些东西有保质期。一些新的政府形式出现了，它运作，然后过了一段时间它停止运作。这是我们一直看到发生的事情。
所以我认为对于长期均衡，一种方法是你可以说也许每个人都会有一个 AI 听命于他们，这很好。如果这能无限期维持下去，那是真的。但这的缺点是，然后 AI 去为这个人赚钱并在政治领域倡导他们的需求，也许然后写一份小报告说，“好吧，这是我所做的，这是情况，”然后人说，“太棒了，继续保持。”但人不再是参与者了。然后你可以说这是一个不稳定的处境。
我要先说我不喜欢这个解决方案，但它是一个解决方案。解决方案是如果人们通过某种 Neuralink++ 变成半 AI。因为结果将会是，现在 AI 理解了一些东西，我们也理解了它，因为现在理解是全盘传递的。所以现在如果 AI 处于某种情况，你自己也完全参与了那种情况。我认为这是均衡的答案。
Dwarkesh Patel
我想知道，数百万年——或者在很多情况下是数十亿年——前在一个完全不同的环境中演化出来的情绪，至今仍如此强烈地指导着我们的行动，这是否是对齐成功的一个例子。
为了说明我的意思——我不知道称之为价值函数还是奖励函数更准确——脑干有一个指令说，“与更成功的人交配?！?#30382层是理解现代背景下成功意味着什么的部分。但脑干能够对齐皮层并说，“无论你认为成功是什么——我不够聪明去理解那是什么——你仍然要追求这个指令?！?/p>
Ilya Sutskever
我认为有一个更普遍的观点。实际上进化如何编码高层级的欲望真的很神秘。很容易理解进化如何赋予我们对闻起来好的食物的欲望，因为气味是一种化学物质，所以只要追求那种化学物质就行了。很容易想象进化做那件事。
但进化也赋予了我们所有这些社会欲望。我们真的很在乎被社会积极看待。我们在乎拥有良好的地位。所有这些我们拥有的社会直觉，我强烈感觉它们是内置的。我不知道进化是怎么做到的，因为那是在大脑中表征的一个高层级概念。
比方说你在乎某种社会事物，这不像气味那样是低层级信号。这不是某种有传感器对应的东西。大脑需要做大量的处理，拼凑大量的信息碎片来理解社会上正在发生什么。不知何故进化说，“这就是你应该关心的?！?#23427是怎么做到的？
而且它做得很快。所有这些我们在乎的复杂的社会事物，我认为它们演化得相当近。进化很容易就硬编码了这种高层级的欲望。我不知道有什么好的假设能解释它是如何完成的。我有过一些反复思考的想法，但没有一个是令人满意的。
Dwarkesh Patel
特别令人印象深刻的是，如果是你在有生之年学会的欲望，那是有道理的，因为你的大脑是智能的。你有能力学会智能的欲望是有道理的。也许这不是你的观点，但理解它的一种方式是，欲望内置于基因组中，而基因组并不智能。但你却能描述这个特征。甚至都不清楚你是如何定义这个特征的，而你却能把它构建进基因里。
Ilya Sutskever
基本上是这样，或者我也许换个说法。如果你思考基因组可用的工具，它说，“好吧，这是构建大脑的配方?！?#20320可以说，“这是把多巴胺神经元连接到气味传感器的配方?！?#22914果气味是某种好的气味，你就想吃它。
我可以想象基因组做那件事。我声称这（社会欲望）更难想象。更难想象基因组说你应该关心你的整个大脑、或者大脑的一大块所做的某种复杂计算。这只是我的主张。我可以告诉你一个猜测，它是如何做到的，我也会解释为什么这个猜测可能是错的。
大脑有脑区。我们有皮层。它有所有那些脑区。皮层是均匀的，但脑区和皮层中的神经元大多只与其邻居对话。这解释了为什么会有脑区。因为如果你想做某种语音处理，所有做语音的神经元需要互相交流。因为神经元大多只能与附近的邻居交流，所以它必须是一个区域。
所有的区域在人与人之间大多位于同一个地方。所以也许进化硬编码了大脑上的一个物理位置。所以它说，“哦，当大脑的 GPS 坐标某某某，当那里点火时，那就是你应该关心的?！?#20063许那是进化所做的，因为那在进化的工具箱之内。
Dwarkesh Patel
是的，尽管有些例子，例如生来失明的人，他们皮层的那个区域被另一种感官接管了。我不知道，但如果那些需要视觉信号的欲望或奖励函数对于那些皮层区域被征用的人不再起作用，我会感到惊讶。
例如，如果你不再有视觉，你是否仍然能感觉到我希望周围的人喜欢我这种感觉，通常这也有视觉线索。
Ilya Sutskever
我完全同意这一点。我认为对这个理论有一个更强的反驳。有些人童年时期被切除了一半大脑（大脑半球切除术），他们仍然拥有所有的脑区。但它们不知何故都移动到了一个半球，这表明脑区的位置不是固定的，所以那个理论是不正确的。
如果是真的那就太酷了，但它不是。所以我认为这是一个谜。但这是一个有趣的谜。事实是，不知何故进化能够赋予我们非常非常可靠地关心社会事物的能力。即使是有各种奇怪的精神状况、缺陷和情绪问题的人也倾向于关心这个。
Dwarkesh Patel
SSI 计划做什么不同的事情？大概你们的计划是当那个时刻到来时成为前沿公司之一。大概你创立 SSI 是因为你想，“我觉得我有一种方法可以安全地做这件事，而其他公司没有?！?#37027个区别是什么？
Ilya Sutskever
我会这样描述，有一些我认为有前途的想法，我想调查它们，看看它们是否真的有前途。真的就这么简单。这是一种尝试。如果这些想法被证明是正确的——我们讨论的这些围绕理解泛化的想法——那么我认为我们将拥有有价值的东西。
它们会被证明是正确的吗？我们在做研究。我们要实事求是地作为一家“研究时代”的公司。我们在取得进展。实际上我们在过去一年取得了相当不错的进展，但我们需要继续取得更多进展，更多研究。这就是我的看法。我看作是一种尝试，试图成为一个声音和一个参与者。
Dwarkesh Patel
你的联合创始人和前 CEO 最近离开去了 Meta，人们问，“好吧，如果有大量的突破正在发生，这看起来似乎是不太可能发生的事情。”我想知道你如何回应。
Ilya Sutskever
对此，我只想提醒几个可能被遗忘的事实。我认为这些提供背景的事实解释了情况。背景是我们当时正以 320 亿美元的估值融资，然后 Meta 进来提议收购我们，我拒绝了。但在某种意义上，我的前联合创始人同意了。结果，他也能够享受到大量的近期流动性，他是 SSI 唯一加入 Meta 的人。
Dwarkesh Patel
听起来 SSI 的计划是当你到达人类历史这一非常重要的时期，即拥有超人智能时，成为一家前沿公司。你有关于如何让超人智能顺利发展的想法。但其他公司也会尝试他们自己的想法。是什么让 SSI 使超级智能顺利发展的方法与众不同？
Ilya Sutskever
主要让 SSI 与众不同的是其技术方法。我们有不同的技术方法，我认为它是值得的，我们正在追求它。
我坚持认为最终会有战略的趋同。我认为会有战略的趋同，在某个时刻，随着 AI 变得更强大，对每个人来说或多或少都会变得清晰，战略应该是什么。它应该是这样的：你需要找到某种方式互相交谈，你希望你的第一个真正的超级智能 AI 是对齐的，并以某种方式关心感知生命、关心人类、民主，诸如此类，某种组合。
我认为这是每个人都应该争取的条件。这就是 SSI 正在争取的。我认为这一次，如果还没发生的话，所有其他公司都会意识到他们正在朝着同一个目标努力。我们拭目以待。我认为随着 AI 变得更强大，世界将真正改变。我认为事情会真的很不同，人们的行为也会真的很不同。
Dwarkesh Patel
说到预测，你对你描述的这个系统——它可以像人类一样学习并因此随后变成超人——的预测是什么？
Ilya Sutskever
我认为大概 5 到 20 年。
Dwarkesh Patel
5 到 20 年？
Ilya Sutskever
嗯。
Dwarkesh Patel
我想展开看看你可能如何看待未来的到来。就像，我们还有几年时间，其他公司继续当前的方法并停滞不前?！?#20572滞不前”在这里是指他们的收入不超过几千亿？你如何思考停滞不前意味着什么？
Ilya Sutskever
我认为停滞不前看起来会……在所有不同的公司看来都非常相似。可能是这样的。我不确定，因为即使停滞不前，我认为这些公司也能创造惊人的收入。也许不是利润，因为他们需要努力使自己与彼此区分开来，但收入肯定是有的。
Dwarkesh Patel
但在你的模型中有些东西暗示，当正确的解决方案真的出现时，所有公司之间会有趋同。我很好奇你为什么认为会这样。
Ilya Sutskever
我更多是在谈论对齐策略的趋同。我认为最终技术方法的趋同可能也会发生，但我指的是对齐策略的趋同。到底应该做什么？
Dwarkesh Patel
我只是想更好地理解你如何看待未来的展开。目前，我们有这些不同的公司，你预计他们的方法会继续产生收入但达不到这种类人学习者。所以现在我们有这些不同的公司分支。有你们，有 Thinking Machines，还有一堆其他实验室。也许其中一个找到了正确的方法。但是他们产品的发布会让其他人清楚如何做这件事。
Ilya Sutskever
我认为怎么做并不清楚，但有些不同的东西是可能的这一点会变得清楚，这就是信息。人们随后会试图弄清楚那是如何工作的。不过我确实认为，这里没有提到、没有讨论的一件事是，随着 AI 能力的每一次提升，我认为做事的方式会有某种变化，但我不知道具体是哪些变化。我认为这会很重要，但我无法确切拼出那是什么。
Dwarkesh Patel
默认情况下，你会预期拥有那个模型的公司会获得所有这些收益，因为他们拥有在世界上积累技能和知识的模型。有什么理由认为这种好处会被广泛分配，而不仅仅是最终落在最先让这个终身学习循环运转起来的模型公司手中？
Ilya Sutskever
我认为会发生以下情况。第一，让我们看看过去的 AI 是如何发展的。一家公司取得了一项进展，另一家公司争先恐后，在一段时间后也搞出了一些类似的东西，他们开始在市场上竞争并将价格压低。所以我认为从市场角度来看，类似的事情也会发生。
顺便说一句，我们谈论的是美好的世界。什么是美好的世界？就是我们拥有这些强大的人类般的学习者，它们也是……顺便说一下，也许还有一件事我们没有讨论，关于超级智能 AI 的规格，我认为值得考虑。那就是你把它做成狭义的，它可以同时是有用的和狭义的。你可以有很多狭义的超级智能 AI。
但假设你有很多这样的 AI，你有一家公司从中赚取大量利润。然后你有另一家公司进来开始竞争。竞争的方式将通过专业化进行。竞争喜欢专业化。你在市场上看到这一点，你在进化中也看到这一点。你会有很多不同的利基市场，你会有很多占据不同利基市场的不同公司。在这个世界上，我们可能会说一家 AI 公司在某些真正复杂的经济活动领域要好得多，而另一家公司在另一个领域更好。第三家公司非常擅长诉讼。
Dwarkesh Patel
这难道不与类人学习所暗示的相矛盾吗？即它可以学习……
Ilya Sutskever
它可以，但你有积累的学习。你有巨大的投资。你花费了大量的算力才变得非常非常优秀，在这个事情上真正非凡。别人花费了大量的算力和大量的经验才在其他事情上变得非常优秀。你应用了大量的人类学习才到达那里，但现在你处于这个高点，别人会说，“看，我不想从头开始学你已经学过的东西?！?/p>
Dwarkesh Patel
我想这需要许多不同的公司同时开始拥有类人终身学习智能体，以便他们可以在不同的分支开始不同的树搜索。但是，如果一家公司首先获得了那个智能体，或者首先获得了那个学习者，确实看起来……嗯，如果你只考虑经济中的每一份工作，让一个实例学习每一份工作对于一家公司来说似乎是可行的。
Ilya Sutskever
这是一个有效的论点。我的强烈直觉是，事情不会这样发展。论点说它会这样发展，但我的强烈直觉是它不会这样发展。理论上，理论和实践没有区别。在实践中，是有区别的。我认为这将是其中之一。
Dwarkesh Patel
许多人的递归自我改进模型字面上、明确地指出，我们将在服务器中有 100 万个 Ilya，他们会想出不同的想法，这将导致超级智能非常快地涌现。
你对你正在做的事情的可并行化有某种直觉吗？复制 Ilya 的收益是什么？
Ilya Sutskever
我不知道。我认为肯定会有收益递减，因为你想要思维不同的人，而不是相同的人。如果有我的字面副本，我不确定你会得到多少增量价值。思维不同的人，那才是你想要的。
Dwarkesh Patel
为什么如果你看不同的模型，即使是由完全不同的公司发布的，可能在不重叠的数据集上训练的，LLM 彼此之间的相似程度实际上是疯狂的？
Ilya Sutskever
也许数据集并不像看起来那样不重叠。
Dwarkesh Patel
但在某种意义上，即使个人可能不如未来的 AI 那么多产，也许有些道理是人类团队比 AI 团队拥有更多的多样性。我们如何引发 AI 之间有意义的多样性？我认为仅仅提高温度（temperature）只会导致胡言乱语。你想要更像是不同的科学家有不同的偏见或不同的想法。你如何在 AI 智能体之间获得那种多样性？
Ilya Sutskever
我相信，没有多样性的原因是预训练。所有预训练模型几乎都是一样的，因为它们在相同的数据上进行预训练。现在的 RL 和后训练（post-training）是一些差异化开始出现的地方，因为不同的人提出了不同的 RL 训练。
Dwarkesh Patel
我过去听你暗示过自我博弈（self-play）是一种获取数据或将智能体与同等智能的其他智能体匹配以启动学习的方式。我们应该如何思考为什么没有关于这种东西在 LLM 上起作用的公开提议？
Ilya Sutskever
我会说有两点。我认为自我博弈有趣的原因是因为它提供了一种仅使用算力而不使用数据来创建模型的方法。如果你认为数据是最终瓶颈，那么仅使用算力就非常有趣。这就是让它有趣的原因。
问题是自我博弈，至少在过去的做法中——当你有以某种方式相互竞争的智能体时——它只对发展一套特定的技能有好处。它太狭窄了。它只对谈判、冲突、某些社交技能、战略制定那类东西有好处。如果你关心这些技能，那么自我博弈将是有用的。
实际上，我认为自我博弈确实找到了归宿，只是形式不同。所以像辩论、证明者-验证者（prover-verifier），你有某种 LLM-as-a-Judge（大模型作为裁判），它也被激励去发现你工作中的错误。你可以说这不完全是自我博弈，但我相信这是人们正在做的一种相关的对抗性设置。
真正的自我博弈是智能体之间更普遍竞争的一个特例。对竞争的自然反应是试图与众不同。所以如果你把多个智能体放在一起，你告诉他们，“你们都需要处理某个问题，你是一个智能体，你在检查其他人正在做什么，”他们会说，“好吧，如果他们已经采取了这种方法，我不清楚我也应该追求它。我应该追求一些差异化的东西。”所以我认为像这样的东西也可以为方法的多样性创造激励。
Dwarkesh Patel
最后一个问题：什么是研究品味（research taste）？你显然被认为是世界上 AI 研究品味最好的人。你是深度学习历史上发生的那些最重大事件的合著者，从 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出这些主意的？
Ilya Sutskever
关于这一点我可以评论我自己。我认为不同的人做法不同。有一件事指引着我个人，那就是通过思考人类是怎样的，但要正确地思考，来形成 AI 应该是怎样的审美。很容易不正确地思考人类是怎样的，但正确地思考人类意味着什么？
我给你举几个例子。人工神经元的想法直接受到大脑的启发，这是一个伟大的想法。为什么？因为你会说大脑有所有这些不同的器官，它有褶皱，但褶皱可能并不重要。为什么我们认为神经元重要？因为有很多神经元。这感觉是对的，所以你想要神经元。你想要某种局部的学习规则来改变神经元之间的连接。大脑这样做感觉是合理的。
分布式表征的想法。大脑对经验做出反应，因此我们的神经网络应该从经验中学习的想法。大脑从经验中学习，神经网络应该从经验中学习。你会问自己，有些东西是根本的还是非根本的？事物应该是怎样的。
我认为这对我指引颇多，从多个角度思考，几乎是在寻找美，美和简单。丑陋，没有丑陋的容身之地。它是美、简单、优雅、来自大脑的正确灵感。所有这些东西都需要同时存在。它们越是同时存在，你就越能对一种自顶向下的信念充满信心。
自顶向下的信念是当实验与你相悖时支撑你的东西。因为如果你总是相信数据，嗯，有时候你可能在做正确的事情，但有个 bug。但你不知道有个 bug。你怎么分辨有没有 bug？你怎么知道你是应该继续调试还是断定这是错误的方向？靠的是自顶向下。你会说事情必须是这样的。像这样的东西必须行得通，因此我们要继续前进。那就是自顶向下，它是基于这种多层面的美和受大脑启发而来的。
Dwarkesh Patel
好，我们就聊到这里
source：
https://www.youtube.com/watch?v=aR20FWCCjAs
--end--
最后记得??我，这对我非常重要，每天都在更新：
一键三连，欢迎点赞转发推荐评论，别忘了关注我