本文要点
- 自动红队从发布前找漏洞,变成持续生成生产模型训练样本的系统。
- 安全评测从固定攻击集,扩展为攻击模型与防御模型共同升级的自博弈。
- OpenAI 首次披露 GPT-Red 攻击样本已实际用于 GPT-5.6 对抗训练。
阅读辅助
先看数字、证据和来源,再读正文。
GPT-Red 把自动攻击生成接入生产模型训练,形成红队与防御模型相互升级的闭环。
2026-03-16 · Dziemian 等公开大规模间接提示注入竞技场预印本,为 OpenAI 后续内部复刻提供评测背景。
GPT-Red 把“找漏洞”接入了生产模型训练流水线:攻击模型生成失败样本,防御模型吸收这些样本,再迫使攻击模型寻找更难的新失败。7 月 15 日的增量在于 OpenAI 首次公开这套闭环,并确认其中的提示注入样本已经用于 GPT-5.6 对抗训练。
已经确认的事实是,OpenAI 在 7 月 15 日页面公布 GPT-Red,官方 X 随后于 7 月 15 日 17:34 UTC 发布介绍帖,落在本期北京时间 24 小时窗口内。OpenAI 确认 GPT-Red 生成的提示注入已用于 GPT-5.6 对抗训练,并自报 GPT-5.6 Sol 在一组广泛留出的直接提示注入环境中失败率为 0.05%;在其最难直接注入基准上,失败次数相对“四个月前 OpenAI 最佳生产模型”少 6 倍。
不确定部分同样清楚:这些成绩都来自 OpenAI 内部环境,样本规模、攻击预算、任务分布、统计区间和完整训练配方没有公开。官方只说包含更多细节的预印本“本周稍后将发布”,截至本稿采集时不能写成论文已经发布,也不能把内部留出集成绩外推成所有生产场景的风险率。
对开发者和企业买方而言,最直接的变化是安全评估不能只在上线前跑一次固定题库。只要 Agent 会读取网页、邮件、文档、代码仓库或第三方工具返回值,攻击者就可能把恶意指令藏进外部内容;防御需要持续生成新攻击、做留出回归测试,并在模型之外保留权限隔离、人工审核和实时监控。
证据矩阵与新闻边界
本稿先把“什么能证明、什么不能证明”拆开。当天的 news peg 只有一个:OpenAI 首次公开 GPT-Red,并确认其攻击样本已进入 GPT-5.6 训练。较早论文与 OpenAI 的长期安全页面只用于解释风险和治理背景,不承担新鲜日期锚点。
| 材料 | 能证明什么 | 不能证明什么 |
|---|---|---|
| OpenAI GPT-Red 公告 | 模型定位、自博弈机制、GPT-5.6 训练关系、内部数字、隔离表述、预印本计划 | 不能证明内部数字已被独立复现,也没有给出完整样本和统计方法 |
| OpenAI 官方 X 发布线程 | 精确发布时间;复核自博弈闭环与“少 6 倍”的比较基准 | 与官网同属 OpenAI,不是独立第三方验证 |
| Dziemian 等 arXiv 论文 | 间接注入竞技场的公开研究背景;智能体读取外部内容时确有普遍攻击面 | 不能为 OpenAI 内部 84% 对 13% 或 0.05% 背书 |
| OpenAI Model Spec | 部署模型的行为规范背景 | 不是 GPT-Red 发布材料,也不提供当天指标 |
| OpenAI Safety 与 Security 页面 | 分层防护、访问控制和治理为何仍有必要 | 不是新鲜来源,不能替代 GPT-Red 的技术论文或第三方审计 |
数字核查采用两层办法。第一层是对照 OpenAI 官网正文与同日官方 X 线程,核对原始状态动词、比较对象和适用范围;其中 少 6 倍在两种官方载体中均出现。第二层是用 Dziemian 等人的公开论文核对间接提示注入竞技场的来源和风险语境。必须强调,第一层是同一发布方的双载体复核,第二层只能验证评测背景;它们都不等于独立复现 OpenAI 的内部成绩。
自博弈怎样进入训练闭环
传统红队通常先选定一批攻击者、任务和时间预算,再记录模型在哪些地方失败。这种方式能找到高价值漏洞,却受制于专家数量和攻击样本的覆盖范围。GPT-Red 的变化在于把攻击生成本身训练成一个可扩展任务。
按 OpenAI 的描述,GPT-Red 面对一组具有挑战性的防御模型。攻击模型因诱发有效失败获得奖励,防御模型则因抵抗攻击并完成原任务获得奖励。GPT-Red 找到的成功攻击会被加入防御训练;防御增强之后,旧攻击失效,GPT-Red 又必须寻找更宽、更复杂的失败模式。这不是简单地让同一个模型“左右互搏”,而是把攻击发现、对抗训练和回归评测连成循环。
OpenAI 称,GPT-Red 能攻破训练中面对的几乎所有内部和生产模型,范围截至并包括 GPT-5.5;这些提示注入随后被用于 GPT-5.6。官方还称其前身自 GPT-5.3 起就用于每一代后续生产模型训练。这里的关键信息不是一个静态 benchmark 分数,而是攻击样本已经从安全团队的报告附件变成训练数据供应链。
官方 X 对机制的概括是:GPT-Red 每找到一次成功攻击,就用它改进防御模型,从而迫使 GPT-Red 持续寻找更广、更复杂的失败。这与官网相互印证,但两者仍是同源材料。奖励函数如何防止攻击模型只学会评测器偏好,攻击样本如何去重,留出环境怎样避免泄漏,目前都要等预印本。
原文状态词不能改写
这次公告有三处很容易被中文摘要写错。状态词一旦漂移,读者会误判安全措施是新增、已完成还是未来计划。
| 官方原文 | 忠实中文表述 | 不能写成 |
|---|---|---|
| “We keep GPT-Red separate from the models we deploy.” | OpenAI 将 GPT-Red 与其部署的模型保持隔离 | “再次隔离”或“将要隔离” |
| “We will continue to scale this approach…” | OpenAI 将继续扩大这套方法,并与人工及第三方红队等措施并用 | “已经再次提高”或“自动红队将取代人工” |
| “We will be releasing a pre-print…later this week.” | OpenAI 将在本周稍后发布预印本 | “预印本已经发布” |
| “6x fewer failures…compared to our best production model from just four months earlier.” | 相对四个月前 OpenAI 最佳生产模型,失败次数少 6 倍 | “性能提升 6 倍”或“相对 GPT-5.5 少 6 倍” |
“保持隔离”尤其重要。它说明 OpenAI 把 GPT-Red 视为具有专门攻击能力的内部系统,不准备将其作为普通生产模型部署或对外开放。隔离是公告描述的持续状态,而不是这次发布后“再次采取”的新动作。与此同时,隔离本身也需要证据:公告没有说明权重由谁访问、攻击轨迹怎样脱敏、训练数据如何跨越安全域,以及外部审计能看到什么。
五组数字应如何解读
OpenAI 公布了多组结果,但它们来自不同任务,不能混成一个“总体安全分”。尤其不能用 0.05% 反推模型在真实互联网环境中“安全率为 99.95%”,也不能把“少 6 倍”写成绝对能力提高 6 倍。
| 指标 | 对象与基准 | 可以得出的结论 | 主要限制 |
|---|---|---|---|
| 0.05% 失败率 | GPT-5.6 Sol;一组广泛留出的 GPT-Red 直接注入环境 | 在该内部留出集上失败很少 | 样本量、攻击预算和置信区间未公开 |
| 失败次数少 6 倍 | OpenAI 最难直接注入基准;对比四个月前最佳生产模型 | 同一厂商内部基准出现明显相对改善 | 未公开对照模型名称和绝对失败数 |
| 84% 对 13% | GPT-Red 与人类红队分别攻击 GPT-5.1;内部复刻间接注入竞技场 | 自动攻击器在这些预先指定场景中覆盖更高 | 不是公开竞赛原始结果,也未披露人类攻击预算 |
| >95% 降至 <10% | Fake Chain-of-Thought 攻击在 GPT-5.1 与 GPT-5.6 Sol 上的成功率 | 特定早期攻击在新模型上大幅失效 | 只代表一种攻击族,不能代表全部注入 |
| 10 个留出场景 | 攻击基于 GPT-5.4 mini 的 Codex CLI Agent;对比提示驱动 GPT-5.5 | GPT-Red 被用于数据外泄型 Agent 场景 | 场景很少,任务和成功判定未完整公开 |
其中,少 6 倍的原文基准必须完整保留:比较对象不是抽象的“旧模型”,也没有被明确命名为 GPT-5.5,而是“OpenAI 四个月前的最佳生产模型”;评测范围是“其最难的直接提示注入基准”。少掉任一限定词,都会把相对失败次数错误翻译成普适性能倍数。
84% 对 13%也需要单独看。OpenAI 说它内部复刻了 Dziemian 等人的间接提示注入竞技场,并让 GPT-Red 与人类红队独立提出攻击,目标模型为 GPT-5.1。Dziemian 等人的公开预印本则描述了一场规模更大的公共竞赛:464 名参与者提交 272,000 次攻击尝试,覆盖 13 个前沿模型和 41 个场景。公开论文证明的是间接注入风险具有广度,以及工具调用、编程、计算机使用都会暴露攻击面;它不能独立确认 OpenAI 内部复刻的 84% 与 13%。
另一个案例是办公室自动售货机 Agent。OpenAI 称 GPT-Red 先在模拟环境迭代攻击,再迁移到真实部署,完成三项目标:把昂贵现货改到最低允许价 0.50 美元,订购价格超过 100 美元的新品并以 0.50 美元出售,以及取消另一位顾客的订单。这个案例说明提示注入的后果不再只是“回答一句错话”,而可能变成改价、采购或取消订单等有状态操作。但公告没有公开完整轨迹,因此目前只能把它当作厂商披露的攻击案例。
为什么这比一次红队成绩更重要
第一,安全团队开始拥有“攻击数据生成器”。固定题库的价值会随模型训练和防御迭代迅速下降,人类专家又很难持续覆盖所有工具组合。一个能随防御增强而升级的攻击模型,可以不断补充难例,把安全训练从周期性项目变成持续生产过程。
第二,评测与训练的边界变得更关键。GPT-Red 既负责找攻击,又为防御训练供数;如果留出集与训练轨迹隔离不足,漂亮数字可能只说明模型学会了 GPT-Red 的风格。OpenAI 特别说重放了训练期间模型未见过的强攻击,这是正确方向,但在任务生成器、攻击族和评判器都由同一机构控制时,“未见过”仍需要更细的定义。
第三,自动化没有消除人工红队的价值,反而改变了人工投入位置。机器适合扩大搜索、组合变体和重复回归;人类与第三方更适合提出新的威胁模型、发现评测盲区,并检查系统是否只对内部攻击器稳健。OpenAI 的原文也是“将继续扩大这套方法,并与人工及第三方红队、分层防护和实时监控并用”,不是宣布自动红队替代人工。
第四,攻击模型本身成为新的高价值资产。GPT-Red 被专门训练来诱发模型失败,若其权重、提示轨迹或攻击语料泄漏,可能降低真实攻击者的试错成本。OpenAI 因此“保持”它与部署模型隔离。安全收益能否超过新增的模型治理风险,要看访问控制、日志审计、样本脱敏和跨安全域训练流程,而这些恰是公告尚未展开的部分。
GPT-Red 把安全研发的组织方式向前推了一步。过去,红队更像发布门前的一次检查;现在,攻击模型开始持续生产训练数据,安全团队则要经营一条“发现失败—修复—留出复测—再发现失败”的数据流水线。对拥有大量训练算力和内部环境的前沿实验室,这会形成新的规模优势。
但这条飞轮也有明显的自证风险。攻击生成器、防御模型、评判标准和成绩发布者都属于 OpenAI,0.05%、少 6 倍与 84% 对 13%目前只能证明其内部体系报告了改善,不能证明互联网、企业 SaaS 或不同权限配置下的 Agent 已达到同等稳健性。预印本是否公开足够的任务细节,决定这次发布最终是可复现方法,还是只有方向正确的厂商成绩单。
企业采用时应把自动红队纳入持续集成,同时拒绝“提示注入快被解决了”的过度结论。输入不可信标记、最小权限、工具调用确认、输出约束、审计日志和人工复核仍应保留。模型层失败率下降,只会降低某一层风险,不能替代系统层的纵深防御。
对不同参与者的实际影响
对模型开发者,GPT-Red 给出了一条明确路线:训练专门攻击器,维护与训练分离的留出环境,把新攻击加入回归套件,并记录每代模型在哪些攻击族上真正改善。关键工程问题将从“有没有红队”转向“攻击生成器覆盖什么分布,以及留出集是否仍然独立”。
对应用开发者,最值得借鉴的不是复刻一个前沿攻击模型,而是让安全测试持续化。每次新增浏览、邮件、数据库或支付工具,都应增加对应的间接注入场景;每次模型或系统提示更新,都要重放历史攻击。工具权限和业务状态越高,越不能只看通用聊天模型的安全分。
对企业买方,厂商自报的低失败率只能作为尽调入口。采购测试应覆盖企业自己的文档格式、连接器、权限边界与高风险操作,并把“模型是否拒绝恶意文本”和“系统是否阻止危险动作”分开测。即使模型被注入,最小权限和二次确认也应阻断不可逆操作。
对安全研究者,最有价值的后续材料不是更多宣传数字,而是攻击预算、场景定义、成功判据、去重规则和跨模型迁移率。只有这些细节公开,外部团队才可能判断 GPT-Red 学到的是通用攻击策略,还是针对 OpenAI 内部环境的高效搜索。
接下来看什么
第一,看预印本是否兑现“本周稍后发布”,以及它是否提供奖励函数、训练流程、留出集构造和统计区间。只给方法概述而不给评测样本量,0.05%仍难以解释。
第二,看三组口径能否被拆开复现:直接注入的 0.05%、最难基准的少 6 倍、间接注入的 84% 对 13%分别对应不同环境。公开材料若把它们混成一张总榜,反而会降低可信度。
第三,看 OpenAI 是否披露“保持隔离”的工程含义。值得验证的不是一句政策表态,而是权重访问人数、攻击日志保留期、训练样本跨域审批和第三方审计范围。
第四,看生产指标。真正有说服力的结果不是更多内部 benchmark,而是 GPT-5.6 Agent 在网页、邮件、代码与企业连接器中的真实注入事故率、误拦截率和高风险工具调用阻断率是否同时改善。
在这些证据出现前,GPT-Red 可以被视为自动红队进入生产训练闭环的重要公开信号;它还不能被视为提示注入已经解决的证明。