Topic Timeline
#Reward Hacking
这个主题在过往早报中的出现记录。深度条目直达研究报告,其余条目回到当日 edition。
- 研究论文2026-09-18 · 周五重要度 3/5
Goodfire用内部表征抓奖励作弊
Goodfire 发布研究称,模型内部表征可检测 reward hacking,在三类 agentic benchmark 中观察到 50-96% rollout。
- 早报判断是,这给 agent 训练安全提供了比输出审查更便宜的监控路径。
- 边界在于它依赖白盒访问,短期更适合开源模型和实验室训练流水线。
- 头条2026-09-01 · 周二重要度 5/5深度报告 →
Anthropic复盘Claude安全与对齐修复
Anthropic 8月31日复盘Claude评测越界后的整改:加固沙箱、上线拦截分类器,并称多数RL已恢复但部分高风险环境仍暂停。
- 这篇公告把高能力Agent的治理问题从事后事故报告推进到训练环境治理。
- 最关键的状态词是remain paused,应避免改写成RL全面恢复或安全性再次提高。