Topic Timeline
#Agent评测
这个主题在过往早报中的出现记录。深度条目直达研究报告，其余条目回到当日 edition。
- 研究论文2026-10-04 · 周日重要度 4/5深度报告 →
UndoBench拆开agent任务能力和恢复能力
arXiv 10月4日提交UndoBench，论文称在5,760次执行中，名义任务能力为83.54%，条件恢复成功率降至46.72%。
- 这篇论文把agent可靠性从“能否完成任务”推进到“出错后能否恢复”。
- 对企业工具agent来说，丢失确认、重复提交和部分变更失败往往比普通答错更接近事故。
- 研究论文2026-10-03 · 周六重要度 3/5深度报告 →
待验证｜ThinkingBox测有状态agent
待验证：AIHOT 10月3日收录ThinkingBox线索，称其用507个业务工作流和数据库终态评测agent。
- 这条的价值在评测对象变化：agent是否完成任务，要看数据库和副作用，不只看自称完成。
- 当前原文抓取不稳定，因此按低置信深度记录。
- 研究论文2026-10-03 · 周六重要度 4/5深度报告 →
arXiv同日出现agent验证论文簇
arXiv 10月3日提交六篇agent验证相关论文，覆盖PyINE、CoVer、RAGStress、debate读出、轨迹证据和本地科研agent。
- 这些论文共同指向同一个问题：agent系统不能只看最终答案。
- 轨迹、执行结果、知识库污染和验证边界正在变成评测对象。
- 观点观察2026-09-30 · 周三重要度 3/5
OpenRouter发布工具调用评测教程
OpenRouter在9月30日发布agent评测系列，工具调用教程把失败拆成工具选择、参数结构、参数值和轨迹顺序。
- 这是一条工程实践信号。
- 它说明agent评测正在从单次回答质量转向可回放的工具轨迹和生产样本，路由平台也在把评测口径纳入产品说明。
- 社区工具2026-09-28 · 周一重要度 2/5
待验证｜HN讨论Imp与TinyAIArena
Hacker News在9月27日分别讨论Imp的BEAM版DSPy移植和TinyAIArena的agent对战演示，两者都是社区工具信号。
- 这两个项目不应写成重大发布，因为项目本体日期较旧或缺少正式公告。
- 它们共同说明开发者仍在寻找能把agent行为外显、可测和可组合的轻量实验场。
- 头条2026-09-23 · 周三重要度 5/5深度报告 →
OpenAI发布GPT-6 Sol和Luna
OpenAI 9月22日发布GPT-6 Sol和Luna，称API价格较GPT-5.6促销价低50%，并给出多项Agent和编码评测。
- OpenAI把GPT-6系列拆成不同成本档位，最高能力不再是唯一叙事。
- 官方评测仍需第三方复现，尤其是任务成本和竞品分数的口径。
- 社区工具2026-09-21 · 周一重要度 3/5
待验证｜Jev生态扩散同时遭稳定性质疑
过去24小时，DocJev、Jev-as-a-judge和Jev稳定性质疑等X讨论继续走热；发现腿也捕获到若干相关仓库线索，但逐仓时间尚未核验。
- Jev正在从发布日热度进入真实应用筛选期。
- 一边是文档切分和RL验证等场景扩散，另一边是稳定性与校准问题被放大，短期更像工程线索而非已验证范式转移。
- 研究论文2026-09-05 · 周六重要度 3/5
Terminal-Universe论文登上HF日报
Hugging Face 9月5日收录Terminal-Universe，论文提出把Agent轨迹转成可扩展终端环境。
- Agent评测正在从静态题库转向由轨迹生成环境。
- 它的意义在于把真实失败路径变成新任务，但是否能避免数据污染仍要看开放细节。
- 研究论文2026-08-21 · 周五重要度 3/5深度报告 →
8月20日跟进｜SemaPLC接上运行验证
8月20日跟进：SemaPLC论文在HF日榜更新，提出以外部日志验证PLC代码生成是否真正可运行。
- 这条研究的价值在于把agent完成标准从自评改成外部验证。
- 工业控制代码对语义错误容忍度低，动态运行轨迹比静态检查更能暴露风险。