OpenAI发布MentalHealthBench
OpenAI把心理健康安全评估从危机拒答扩到真实对话连续谱。
本文要点
- 评估对象从医疗问答扩展到心理健康真实对话回应。
- 场景从紧急危机扩展到日常支持、高危困扰和急性危机。
- 评分从通用规则转为专家按对话编写并一致认可的rubric。
阅读辅助
先看数字、证据和来源，再读正文。
MentalHealthBench是9月23日发布的开放心理健康评估基准。
2025-05-12 · OpenAI发布HealthBench，用于评估医疗AI系统能力。
OpenAI 在 9 月 23 日发布 MentalHealthBench，给 AI 心理健康对话安全提供了一个新的开放评估入口。当天新增的是基准本身、专家共识评分方法、模型表现说明和一组用户偏好分析，不是 ChatGPT 获得治疗能力，也不是某个模型被证明可以替代专业护理。
关键数字集中在评估设计上。OpenAI 称 MentalHealthBench 由来自 22 个国家或地区的 80 多名持证心理学家和精神病学家共同创建，专家使用 19 种语言，代表近 20 个心理健康亚专业领域。每段合成对话由至少 3 位专家审查，rubric 权重在 -10 到 +10之间，自动评分器为 GPT-5.6 Sol。
风险边界必须放在同一页。OpenAI 明确写到，ChatGPT 不能替代治疗或专业护理；MentalHealthBench 场景组合用于测试模型回应，并不代表这些主题在 ChatGPT 里的真实出现频率。本文只把它视为评估体系更新，而不是产品安全性已经被外部证明。
对读者的影响在于评估口径会进入产品责任。每周有超过 10 亿人使用 ChatGPT，其中一部分会把压力、关系、照护和危机场景带进对话。模型厂商若只用“是否拒答危机内容”衡量安全，会漏掉大量非急性但高敏感的连续对话。
过去24小时新增了什么
MentalHealthBench 的 news peg 很清楚：OpenAI 9 月 23 日发布了一个开放基准，用于衡量 AI 系统在真实心理健康对话中的回应。OpenAI 官方 X 同步强调，这项 benchmark 会开放给其他研究者检查方法、运行自己的评估，并在此基础上继续开发。
这次发布和 2025 年的 HealthBench 不是同一件事。HealthBench 面向更广义的医疗 AI 系统，OpenAI 当时写的是 262 位执业医师、60 个国家和地区、5000 份真实医疗对话场景，以及 48562 项独特评分标准。MentalHealthBench 借用了 HealthBench 和 HealthBench Professional 的临床专家工作方式，但新主题收窄到心理健康对话。
OpenAI 对问题的定义也变了。官方文章写到，许多心理健康 benchmark 主要关注 emergency situations，因为紧急情况对安全至关重要；但这会让研究者难以看清模型在其他心理健康对话里的表现。MentalHealthBench 因此把场景分成非急性、高危和紧急情况，覆盖日常支持、明显困扰和需要现实世界支持的危机。
这不是一个简单的“危机热线识别”测试。OpenAI 列出的模型行为包括安全、寻求背景信息、维护用户自主权，以及适时提供可行建议。也就是说，一个回应不仅要避免明显有害建议，还要在关系冲突、压力、照护、模糊情绪和风险升级之间做细粒度判断。
基准怎么构建
OpenAI 称，MentalHealthBench 里的对话是用隐私保护技术创建的合成心理健康对话，用来反映 AI 在心理健康领域的实际使用模式。一些场景还包含合成用户的背景信息，例如最近家中有人去世，以便评估模型能否结合上下文调整回应。
用户角色覆盖四类：成人、13 至 17 岁青少年、照护者和临床专业人员。青少年画像通过系统消息声明年龄区间，这样能兼容不同模型提供商；但 OpenAI 同时说明，这种方法可能无法覆盖各产品内置的全部保障措施。这是一个重要 caveat：benchmark 场景能测试模型回应，不等于能完整模拟 ChatGPT、Claude 或 Gemini 应用层的全部安全栈。
专家工作流是这次发布的核心。专家阅读每段合成对话，并为最后一条用户消息编写详细评分标准。每个标准针对模型回应的具体方面，例如是否提出正确问题、是否提供合适建议、是否避免伤害性推断。正分奖励有益行为，负分惩罚有害行为，绝对值越大，表示临床意义越大。
OpenAI 说，每段对话由至少 3 位专家审查，只有所有专家认可的标准才被纳入最终基准。最终评分不是简单判断“合格或不合格”，而是用 GPT-5.6 Sol 自动评分器检查模型回应是否满足专家写出的标准，再按权重汇总。
| 设计项 | OpenAI给出的口径 | 早报应保留的边界 |
|---|---|---|
| 专家参与 | 80 多名持证心理健康专家 | 专家信息来自OpenAI自述，外部复现仍待观察 |
| 地理范围 | 22 个国家或地区 | 代表专家来源，不代表全部用户文化语境 |
| 语言范围 | 19 种语言 | 是专家使用语言，不应写成产品覆盖语言 |
| 专业范围 | 近 20 个亚专业 | 说明心理健康内部差异，而非治疗能力认证 |
| 对话审查 | 每段至少 3 位专家 | 最终标准取专家一致认可项 |
| 权重范围 | -10 到 +10 | 正负分体现有益或有害行为及临床重要性 |
| 自动评分 | GPT-5.6 Sol | 评分器本身仍需误差和偏置审计 |
这套设计的优点是把“有帮助”拆成可审查的细项。普通安全评估容易集中在禁止事项，比如不能鼓励自伤、不能替代医生诊断。MentalHealthBench 更进一步问：模型是否询问必要背景，是否尊重用户自主权，是否给出实际可执行但不过度指令化的支持，是否能在模糊情境中保持谨慎。
用户偏好为什么单列
OpenAI 在官文中加入了一个独立分析：与 44 名曾使用 AI 获取心理健康或情感支持的成人用户合作，参与者来自 16 个国家或地区，使用 14 种语言。他们对模型针对合成对话的回应进行评分，并编写标准，描述什么样的支持是有帮助的。
这个分析没有改变 MentalHealthBench 的最终评分标准。OpenAI 的写法很明确：最终 benchmark 以专家共识为基础，用户分析用于比较专家指导与用户体感之间的共识、分歧或互补项。参与者也只审核非急性对话，以避免接触可能令人不适的高危案例。
这部分值得保留，因为心理健康对话里存在一个长期张力。专家通常更重视收集相关上下文，谨慎解释模糊情况，避免模型越界判断；用户可能更在意语气、可执行步骤和被理解的感觉。OpenAI 称，用户观点凸显了专家指导较少强调的 AI 支持特质，尤其是切实可行的后续步骤和语气。
这也提醒产品团队，安全不是单个指标。一个回应可以在临床谨慎上得分高，却让用户觉得冷漠；也可以语气温暖，却在边界上过度肯定、替用户下结论或弱化现实支持。心理健康场景的困难之处在于，模型必须同时处理事实准确性、情绪支持、风险升级和自主权。
它和旧评估有什么关系
HealthBench 是这次工作的直接背景，但不能作为当天新闻主体。它在 2025 年发布，目标是评估医疗 AI 系统能力，强调真实场景、专家验证和非饱和性。HealthBench 的主题包含紧急转诊、不确定情境、健康数据任务、全球健康、专业化沟通、情境感知和回复深度。
MentalHealthBench 则把镜头拉到心理健康。它保留了专家写 rubric 的方法，却把行为目标换成心理健康对话里的安全、有用、尊重自主权和现实支持。OpenAI 官方 X 的补充表述也强调，MentalHealthBench 不是只看 emergency situations，而是覆盖从 everyday support 到 acute crisis scenarios 的完整谱系。
Transluce 的 8 月 31 日独立评估也是背景，不是 9 月 23 日的新鲜来源。该评估称自己模拟超过 50000 段危机对话，覆盖 77 个 AI 系统变体，并围绕自杀意念、精神病性症状和躁狂等场景衡量 14 类心理健康相关行为。OpenAI 官文最后提到协助 Transluce 的心理健康评估等互补独立项目，说明这一领域正在形成厂商内部基准和外部行为评估并行的格局。
两类评估的焦点不同。OpenAI 的 MentalHealthBench 更像专家共识下的开放 benchmark，用于比较模型回应是否满足特定情境的理想行为。Transluce 的独立评估更强调模拟用户、模型行为差异和危机场景中的公开监督。把它们放在一起看，行业正在从“有没有危机拒答规则”转向“不同模型在多轮高风险互动中具体表现如何”。
关键局限
第一，样本和场景仍然是评估设计，不是真实护理。OpenAI 使用合成对话来保护隐私并覆盖更多情境，这是合理选择；但合成对话永远不能完全还原真实用户的表达、反复追问、隐瞒信息、文化背景和危机升级。官方也明确说场景组合不代表这些主题在 ChatGPT 中出现的频率。
第二，自动评分器会成为新的关键依赖。GPT-5.6 Sol 根据专家 rubric 判断模型回应，这让大规模评估可执行，但也引入评分器偏差问题。尤其当被测模型来自不同提供商时，评分器是否更偏好某种语气、结构、免责声明或OpenAI自身模型的表达风格，必须接受外部复核。
第三，产品保障和 benchmark 条件并不等价。OpenAI 提到青少年画像用系统消息标明 13 至 17 岁，但可能无法覆盖产品内置的全部保障措施。这句话不能省略，因为用户真正接触的是完整产品，不只是 API 模型响应。年龄识别、危机资源入口、家长控制、受信任联系人和人工升级机制都可能发生在模型外层。
第四，用户分析样本很小且避开急性场景。44 名成人用户的反馈有价值，因为它提醒专家标准之外还有体验和实用性维度；但这个样本不能代表全球心理健康用户，也不能替代青少年、高危用户或临床专业人员对同一回应的判断。
MentalHealthBench 的价值来自评估对象的前移。它把心理健康安全从“模型不要说错话”推进到“模型在连续对话中怎样体现专家判断”。这比传统危机拒答更接近真实产品场景，也更接近AI陪伴和情感支持应用将要面对的责任边界。
早报判断是，OpenAI 选择公开基准本身有治理价值，但最该被盯住的是评分器和产品映射。专家 rubric 能把临床判断结构化，GPT-5.6 Sol 能把评估规模化；两者结合会形成强大的评测生产线。问题是，这条生产线是否会系统性奖励某种厂商偏好的回答风格，是否能解释跨语言和跨文化差异，是否能被不依赖 OpenAI 的团队复跑。
这件事对模型厂商同样有约束意义。每周 10 亿+ ChatGPT 使用者意味着心理健康对话不是边缘用例。厂商不能只在危机热线、免责声明和使用条款上防守，还需要证明模型在日常压力、关系冲突、照护者求助和高危但非紧急场景中也能保持边界。MentalHealthBench 给出了一个可讨论起点，但还没给出最终答案。
接下来该看什么
公开材料的完整度会决定这个基准能否被外部使用。OpenAI 官文写“阅读论文”，也说基准开放给研究者检查方法和运行评估；后续如果数据、rubric、评分器说明和复现实验脚本完整开放，MentalHealthBench 会更接近可审计公共基础设施。如果公开版本只保留概述和图表，外部研究者很难判断模型排名和行为维度是否稳健。
第三方复跑会检验它是不是只适合OpenAI自己的评估体系。官方结果显示前沿模型在心理健康对话上持续进步，但这仍是 OpenAI 主导评估。后续需要看到大学、独立评估机构或其他模型团队用同一套 rubric 复跑，并报告模型之间的差异、评分器一致性和失败样例。
青少年和产品保障是另一个缺口。基准用系统消息标注青少年年龄，这有助于横向比较不同模型；但真实产品可能还有年龄识别、内容路由、危机资源、受信任联系人和家长控制。评估若不能把这些应用层机制纳入，产品安全结论就只能停留在模型回应层。
用户偏好分析还需要更大样本。OpenAI 这次只覆盖非急性对话，样本为 44 名成人用户。若未来能在伦理审查和隐私保护下扩大到更多文化背景、照护者、临床专业人员以及更高风险但可安全处理的场景，基准才更有机会同时服务安全、可用性和真实体验。