#推理效率
这个主题在过往早报中的出现记录。深度条目直达研究报告，其余条目回到当日 edition。
- 模型发布2026-09-09 · 周三重要度 4/5深度报告 →
Mercury 2.5把扩散LLM推向生产场景
Inception Labs于9月8日发布Mercury 2.5，称质量较Mercury 2显著提升，同时保持低延迟、低成本服务特征。
- 扩散式语言模型的卖点正在从架构新奇转向生产负载。
- 若低延迟和质量能同时站住，它会给搜索、语音和代码补全带来不同于自回归模型的推理路径。
- 研究论文2026-06-24 · 周三重要度 3/5
Grouped Query Experts:在注意力里做 MoE,KV cache 不变、只稀疏化查询头
GQE 把 GQA 分组内的查询头当作专家,由路由器为每个 token 选 top-k 个查询头专家,而 KV 头保持稠密、始终计算,从而保留 GQA 的 KV cache 优势,只削减激活的查询头算力。250M 参数 / 30B token 预算下,每 token 仅激活一半查询头,下游准确率仍与全激活 GQA 基线持平。
- 这是一条很『务实』的效率路线:不动 KV cache(推理显存的大头),只在注意力的查询侧做稀疏化,等于把 MoE 思路搬进 attention 而不破坏长上下文的内存画像。
- 但要诚实看待——这是『匹配而非提升』(激活减半
- 研究论文2026-06-23 · 周二重要度 3/5深度报告 →
PerceptionDLM:用扩散语言模型并行做区域感知,吞吐最高提速 3.44×
北大、ByteDance、武大、CASIA、NUS 的工作,首次用多模态扩散语言模型(DLM)实现并行区域描述——不再逐个区域自回归处理,而是用结构化注意力掩码让多个掩码区域同时被描述。基于 SigLIP-2 + LLaDA-8B,提出 ParaDLC-Bench(2345 题、GPT-5.2 评判)。多模态 16 项基准 15 项超 LLaDA-V,ParaDLC-Bench 准确率 62.4%(LLaDA-V 35.2%),完全并行时吞吐最高提速 3.44×,单图延迟从 10.04s 降到 2.92s。
- 研究论文2026-06-23 · 周二重要度 4/5深度报告 →
Grouped Query Experts:在注意力里做 MoE,KV cache 不变、预填充提速近 1.8×
GQE 把 GQA 分组内的查询头当作专家,由路由器为每个 token 选 top-k 个查询头专家,而 KV 头保持稠密、始终计算,从而保留 GQA 的 KV cache 优势,只削减激活的查询头算力。250M 参数 / 30B token 预算下,完整 GQE 三任务平均 56.04,略高于稠密 GQA 基线 55.86;预填充在 4k–1024k token 区间提速约 1.67–1.80×。
- 这是一条很『务实』的效率路线:不动 KV cache(推理显存的大头),只在注意力的查询侧做稀疏化,等于把 MoE 的思路搬进 attention 而不破坏长上下文的内存画像。
- 但要诚实看待局限
- 研究论文2026-06-22 · 周一重要度 3/5深度报告 →
PerceptionDLM:扩散语言模型实现并行区域感知,吞吐最高 3.44x 提速
来自北大与字节等机构的 PerceptionDLM(arXiv 2606.19534)首次用多模态扩散语言模型实现并行区域描述:一次去噪同时给多个掩码区域生成描述。基于 SigLIP-2 + LLaDA-8B,16 个基准中 15 个超过 LLaDA-V,自建 ParaDLC-Bench 达 62.4% 准确率,吞吐最高提速 3.44x,推理 276s(对照自回归方案 GAR 的 479s)。
- 这是扩散语言模型(DLM)在多模态感知上对自回归路线的一次正面挑战:AR 逐区域处理的串行瓶颈,被 DLM 的并行解码天然化解。
- 意义在于为『密集区域级理解』(检测、指代、密集描述)提供了一条不靠堆 token 数、而靠并行解码提效的新路径。