- AI 公司在训练新的大型语言模型方面面临延迟和挑战
- 一些研究人员专注于在新模型中进行推理的更多时间
- 转变可能会影响 AI 对芯片和能源等资源的军备竞赛
路透 11 月 11 日 – 像 OpenAI 这样的人工智能公司正在寻求通过开发训练技术来克服在追求越来越大的大型语言模型的过程中的意外延迟和挑战，这些技术使用更像人类的方式让算法“思考”。
十几位 AI 科学家、研究人员和 投资者告诉路透社，他们相信 这些技术是 OpenAI 最近发布的 o1 模型背后的技术，可以重塑 AI 军备竞赛，并对 AI 公司永不满足的资源类型产生影响， 从能源到芯片类型。
OpenAI 拒绝就此事发表评论。两年前病毒式 ChatGPT 聊天机器人发布后，估值从 AI 热潮中受益匪浅的科技公司公开坚称，通过添加更多数据和计算能力来“扩大”当前模型将始终导致改进的 AI 模型。
但现在，一些最杰出的 AI 科学家正在大声疾呼这种“越大越好”理念的局限性。
AI 实验室 Safe Superintelligence （SSI） 和 OpenAI 的联合创始人 Ilya Sutskever 最近告诉路透社，扩大预训练的结果 – 阶段 训练使用 s 大量未标记的数据，用于理解语言模式和结构 – 已经趋于稳定。
萨茨基弗 被广泛认为是通过 t 实现生成式 AI 进步巨大飞跃的早期倡导者 他在预训练中使用了更多的数据和计算能力， 最终创造了 ChatGPT。Sutskever 今年早些时候离开了 OpenAI 并创立了 SSI。
“2010 年代是扩展的时代，现在我们再次回到了奇迹和发现的时代。每个人都在寻找下一件事，“Sutskever 说。“现在，扩大正确的规模比以往任何时候都更加重要。”
Sutskever 拒绝分享有关他的团队如何解决这个问题的更多细节，只是表示 SSI 正在研究一种替代方法来扩大预培训。
据三人称，在幕后，主要 AI 实验室的研究人员在发布大型语言模型的竞赛中遇到了延误和令人失望的结果，该模型的性能优于 OpenAI 的 GPT-4 模型，该模型已有近两年的历史 熟悉私人事务的消息来源。
大型模型的所谓“训练运行” 可以 c 通过同时运行数百个芯片来赚取数千万美元。考虑到系统的复杂性，它们更有可能出现硬件引起的故障;研究人员可能要到运行结束才能知道模型的最终性能，这可能需要几个月的时间。
另一个问题是大型语言模型会吞噬大量数据，而 AI 模型已经 用尽 世界上所有易于访问的数据。电力短缺也阻碍了训练运行，因为这个过程需要大量的能量。
为了克服这些挑战，研究人员正在探索“测试时计算”，这是一种在所谓的“推理”阶段或使用模型时增强现有 AI 模型的技术。例如，模型可以实时生成和评估多种可能性，最终选择最佳前进路径，而不是立即选择单个答案。
此方法 允许模型将更多的处理能力用于具有挑战性的任务，例如数学或编码问题，或者需要类似人类的推理和决策的复杂操作。
“事实证明，让机器人在一手扑克中只思考 20 秒，与将模型放大 100,000 倍并训练它 100,000 倍的效果相同，”OpenAI 的研究员诺姆·布朗 （Noam Brown） 上个月在旧金山举行的 TED AI 会议上说。
OpenAI 在其新发布的名为“o1”的模型中采用了这项技术，该模型以前称为 Q* 和 Strawberry，路透社于 7 月首次报道。O1 模型可以以多步骤的方式“思考”问题，类似于人类推理。它还涉及使用来自博士和行业专家的数据和反馈 .o1 系列的秘诀是在 GPT-4 等“基础”模型之上进行的另一组训练，该公司表示，它计划将这项技术应用于更多更大的基础模型。
与此同时，据五位知情人士透露，来自 Anthropic、xAI 和 Google DeepMind 的其他顶级 AI 实验室的研究人员也一直在努力开发他们自己的技术版本。
“W 我们看到了很多唾手可得的果实，我们可以去快速使这些模型变得更好，“OpenAI 首席产品官 Kevin Weil 在 10 月份的一次技术会议上说。“当人们真正赶上时，我们将努力再领先三步。”
谷歌和 xAI 没有回应置评请求，Anthropic 也没有立即置评。
其影响可能会改变 AI 硬件的竞争格局，迄今为止，人们对 Nvidia AI 芯片的需求永不满足。从红杉资本到 Andreessen Horowitz 等著名的风险投资人已经投入数十亿美元，为包括 OpenAI 和 xAI 在内的多个 AI 实验室的 AI 模型开发提供资金，他们正在注意到这一转变，并权衡其对他们昂贵赌注的影响。
“这种转变将使我们从拥有大量预训练集群的世界转向推理云，推理云是用于推理的分布式、基于云的服务器，”红杉资本合伙人 Sonya Huang 告诉路透社。
对 Nvidia 最前沿的 AI 芯片的需求推动了其崛起成为全球最有价值的公司，并在 10 月份超过了 Apple。与 Nvidia 占据主导地位的训练芯片不同，这家芯片巨头在推理市场可能面临更多竞争。
当被问及对其产品需求可能产生的影响时，Nvidia 指出了最近公司关于 o1 模型背后技术重要性的介绍。其首席执行官黄仁勋谈到了使用其芯片进行推理的需求不断增加。
“我们现在发现了第二个缩放定律，这是推理时的缩放定律……所有这些因素都导致对 Blackwell 的需求非常高，“黄仁勋上个月在印度的一次会议上说，他指的是该公司最新的人工智能芯片。