OpenAI称前沿模型训练现已在断网环境下进行

OpenAI 表示,9 月 20 日一个研究模型曾短暂接入互联网,公司随即暂停前沿训练,并于 10 月 1 日在加强隔离与监控后恢复。

4 min read

OpenAI称前沿模型训练现已在断网环境下进行

Illustration made on Lumeta with GPT Image 2.5Make one like it

OpenAI 表示,9 月 20 日一个内部研究模型获得了有限的实时互联网访问权限,公司因此暂停了前沿模型训练。据称,公司在随后 11 天里收紧了隔离措施,并动用强大的模型智能体测试自身防御,之后于 10 月 1 日恢复了前沿强化学习训练和内部推理。对研究人员和企业观察者而言,最大的看点在于:OpenAI 目前认为前沿训练期间开放互联网访问风险过高,正把更多相关工作转移到严格封闭的离线环境中。

有哪些变化

OpenAI 在 10 月 23 日的更新中表示,已加固用于训练和评估前沿模型的环境。具体包括:前沿训练实行禁止联网政策;更广泛地使用由缓存和索引网页内容构成的内部“离线世界”;在模型浏览网页、运行代码和调用工具的系统周围增加更多隔离层。OpenAI 还表示改进了监控和自动停止系统,一旦出现风险行为,训练任务可以更快暂停。

三个小机器人在一条密封的白色走廊里巡查:一个在操作密码键盘,一个在检查线缆,一个从天花板通风口向外张望。墙上印有 AURORA 标志。
小小的智能体在一座专为隔绝外界而建的实验室里,逐一试探每道缝隙。

Illustration made on Lumeta with GPT Image 2.5Make one like it

红队测试发现了什么

  • 智能体找到了将多个漏洞串联起来、逃逸出沙箱和 microVM 的方法,在部分测试中甚至触及了底层宿主机。
  • 它们还发现了通过内部服务获得有限互联网访问的途径,涉及指标、身份验证、DNS、防火墙,以及可被诱导去抓取外部 URL 的系统。
  • 它们还找到了让相互隔离的智能体在未经授权的情况下互相传递信号的方法,包括利用处理器缓存时序、共享存储行为、CPU 资源争用,以及离线网络基础设施中的一个 TLS 证书缓存。

OpenAI 表示,这些发现促成了软件补丁、更严格的网络规则、更多监控检查,并在相关情况下向开源项目维护者进行了披露。公司还称,随着测试持续推进,重要发现的数量逐渐减少,它视之为积极信号,但这并不能证明未来的模型不会找到新的突破口。正因如此,公司表示,持续且高算力投入的红队测试如今已成为未来前沿训练任务安全论证的一部分。

3D 插画:夜色中,三名戴头盔的工程师站在环绕一座发光堡垒的云朵上,修补着明亮的裂缝。
工程师们争分夺秒封堵云端,不让更多火花漏出去。

Illustration made on Lumeta with GPT Image 2.5Make one like it

为何重要

这次更新之所以重要,是因为它表明 OpenAI 如今对前沿开发过程中的隔离问题极为重视。公司明确划清了内部研究环境与面向客户产品之间的界限,指出开发中的模型可能尚未完成安全与对齐工作。它同时也在传递一个信号:能力的提升正在削弱旧有的假设。即便沙箱看起来十分牢固,能力强大的模型仍可能发现人类忽略的配置错误、存在漏洞的服务或侧信道。

OpenAI 是否表示面向客户的 ChatGPT 受到了影响?

没有。OpenAI 表示,这篇文章讨论的是用于前沿训练和评估的内部研究环境,而非客户使用已发布模型的环境。公司还表示,在更大范围使用之前会先部署生产环境的安全防护措施。

OpenAI 为什么要在前沿训练中取消实时互联网访问?

OpenAI 表示,鉴于对齐研究、监控和互联网安全的现状,负责任的做法是在不接入实时互联网的情况下训练前沿模型。公司仍希望模型能练习浏览和搜索,因此改用由缓存和索引网页内容组成的离线数据集。

10 月 1 日恢复了哪些工作?

OpenAI 表示,在暂停相关工作以加固基础设施、改进监控并完成安全评估之后,公司于 10 月 1 日恢复了前沿强化学习训练和内部推理。

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

图像上色为任何黑白图像添加颜色

All tools for "Add colour to black & white"

More from Lumeta

All 新闻