Topic Timeline
#基准审计
这个主题在过往早报中的出现记录。深度条目直达研究报告，其余条目回到当日 edition。
- 研究论文2026-10-04 · 周日重要度 3/5
SALUS用多agent审计NL-to-SQL标签
arXiv 10月4日提交SALUS，论文用多agent弱监督检测NL-to-SQL基准标注错误，并估算BIRD约37%、Spider约27%存在错误。
- 这条的价值在于把“模型没答对”反过来审计成“标准答案可能错”。
- 它会影响NL-to-SQL榜单可信度，但所有错误率仍是论文方法估算。
- 研究论文2026-07-09 · 周四重要度 5/5深度报告 →
OpenAI 撤回 SWE-Bench Pro 推荐：审计显示约 30% 任务失效
OpenAI 对自研编码评测 SWE-Bench Pro 做完整审计，自动流水线标记 200 任务为缺陷(200/731),5 名资深工程师人工复核识别 249 问题任务,约 30% 任务被认定失效,公开撤回对该基准的推荐。