Anthropic 指控阿里「非法蒸馏」Claude 闹进参议院,同一天 Qwen 智能体论文登顶 HuggingFace;agent 研究密集轰炸

这篇把『agent 能不能做科研』从口号拉回到可量化的冷数据:17.8% 不是失败,而是诚实地标定了当前上限。最有价值的是它对成功/失败路径的解剖——agent 主要靠『方法论翻译』(把科学问题塞进它熟悉的监督预测套路)取得进展,而非真正的科学发明;失败也多来自『选错方法』和『算力预算不足』,而不是『没读懂题』。这等于说明白:今天的 coding agent 是熟练的工程移植工,不是会提新假设的科学家。每题独立容器 + 维护方复现的协议设计,也给『agent on research』这类长期被环境碎片化拖累、可信度存疑的基准立了个更硬的范式。

这是一条很『务实』的效率路线:不动 KV cache(推理显存的大头),只在注意力的查询侧做稀疏化,等于把 MoE 思路搬进 attention 而不破坏长上下文的内存画像。但要诚实看待——这是『匹配而非提升』(激活减半、精度持平),且只验证到 250M/30B token 的小规模、小专家池,能否放大到主流尺寸仍是最大未知数。它的意义更多在于指出一个被忽略的优化面:不是每个 token 都需要全部注意力头,token 难度差异本身就是可利用的稀疏性来源。

这条思路的聪明之处在于把『记什么、扔什么』从外挂的记忆模块变成策略自己学的动作——上下文管理和 UI 操作同源同策略,模型在『点哪个按钮』和『该记住哪个事实』之间统一决策。它点中了长程 agent 的真实痛点:失败往往不是不会操作,而是走到第 30 步时忘了第 3 步填的关键信息。8B 拿到最佳开源数据成绩 + 泛化到 OOD 基准,说明『主动压缩上下文』比『被动追加历史』更可学、更省 token。但它仍是『最佳开源数据 8B』这个限定赛道,与闭源大模型的绝对差距未在此口径体现。

这触及了 RAG 与 agent 记忆一个被默认忽略的假设:检索的『相关性』其实是随状态变化的。同一句查询,在对话第 2 轮和第 20 轮该召回的东西可能完全不同——静态 embedding 做不到这点。EvoEmbedding 把『连续状态跟踪』塞进编码过程,让表征带上时序记忆,这对多轮 agent、个性化、长文档连续检索是结构性契合。值得注意的是它用更小的模型反超 8B/12B 专家模型,说明『动态性』这个维度的收益可能比单纯堆参数更大。caveat 是循环编码容易表征坍缩(论文专门用记忆队列防这点),工程稳定性和长序列下的漂移仍需更多验证。

重排器一直在两难之间:联合编码(cross-encoder)精度高但每次都要 query×passage 重算、无法预计算;延迟交互(late interaction，如 ColBERT)能预存 passage 但相关性建模较弱。KaLM 这条 FBNL 路线想两头通吃——passage 侧可预编码缓存(像 late interaction),相关性又靠 cross-attention 保留表达力(像 cross-encoder)。对要把重排塞进大规模在线检索的工程团队,这种『passage 离线编码 + query 在线轻量交互』的解耦正是降本的关键。Matryoshka 池化还给了一个用精度换延迟的旋钮。需要看的是 cross-attention 这层是否成为新的在线瓶颈,以及多语言(MIRACL)上未充分训练时的表现。

这反映了一个正在成形的判断:数据工程本身正在被『agent 化』。把数据裁剪从一次性预处理变成可学习、可奖励优化的能力,意味着『为下游任务定制数据』可以闭环训练。最聪明的是它的评测哲学——不自证『裁得好』,而是拿裁出来的数据去真正训下游模型(视频/VQA/GUI),用下游涨不涨分反向验证数据质量,这比任何中间指标都硬。它和同日的 OpenThoughts-Agent 是一组呼应:后者开源『agent 训练数据怎么配』,前者主张『数据加工本身就该是个会进化的 agent』——数据正在从静态资产变成动态能力。caveat 是 GRPO 在多模态数据合成上的稳定性、以及『锚点』机制能否防住生成式合成的幻觉,仍待更大规模检验。