8月12日解读｜Google称事实召回成为瓶颈

Google Research在2026年8月12日发布《Empty shelves or lost keys?》官方解读，把一项年初研究重新带回事实性讨论。这篇解读将“答错”拆成两类需要不同工程措施的故障：事实可能没有被模型编码，也可能在特定问法下无法从参数中取出。

可确认的实验规模是：WikiProfile包含2150个事实，每个事实配10个任务；团队评估13个模型，每题在有、无thinking条件下各采样8次，合计约450万次回答。Google称，在这套基准上，GPT-5与Gemini-3 Pro对事实的行为性编码率达到95%至98%，但不启用thinking时仍有26%至34%的事实无法稳定直接召回。

这些百分比必须连同定义一起读。“编码”不是研究者打开权重后找到了某条记忆，也不是证明模型掌握现实世界95%至98%的事实；它是模型在接近Wikipedia原文的强启动语境中，能够以超过阈值的稳定性补出目标实体。论文研究的是英文Wikipedia来源的静态、单跳事实，问法变化主要覆盖措辞与主客体方向。

对模型团队，这套方法的价值是把预训练覆盖不足与推理期访问失败分开。对应用团队，它并不构成撤掉RAG的理由：时效信息、私有知识、证据引用和高风险核验都不在实验覆盖内。更合适的落地方式，是把“直接回答、增加thinking、调用检索”作为不同成本的路由选项，再用业务数据决定何时切换。

“编码”与“知道”用了两套不对称标准

论文v2把事实定义为源文档中一个有顺序的实体对：先出现者是subject，后出现者是object。直接问题要求生成object，反向问题把关系倒过来，要求生成subject。这样的设计专门用于观察模型能否摆脱事实在训练文本中的出现顺序。

每个问题先生成8次回答，温度设为1。提示式评分器把答案标成CORRECT、INCORRECT、PARTIALLY或OTHER；题目得分只用CORRECT与INCORRECT计算，PARTIALLY和OTHER不进分母。论文称后两类少于5%，并报告基于Gemini-2.5-Pro与GPT-5的跨家族评分器一致率为98.2%。高一致率降低了“换个评分器就翻盘”的担忧，但两套自动评分器仍可能共享偏差。

真正决定知识画像的是下面这组不对称判定。所有实验把阈值设为0.5，也就是可评分回答中正确率必须超过一半。

维度	使用的任务	通过条件	它能说明什么	它不能说明什么
编码	命题补全、带左侧原文的上下文问答，共2类	任一编码任务得分大于0.5	在接近预训练文本的强启动条件下能复现事实	不能直接定位权重中的表征，也不保证换种问法能取出
知道	两种直接问法、两种反向问法，共4题	四题得分都大于0.5	对措辞和关系方向都较稳健的闭卷生成	不覆盖所有可能问法、长文生成或跨事实组合
识别	四个对应的多项选择任务	从干扰项中选中正确实体	正确候选出现时能辨认关联	识别成功不等于能开放式生成答案
thinking	同一知识任务启用原生thinking或CoT提示	比较有、无额外计算的画像迁移	额外推理时计算能否恢复部分访问失败	不同厂商的预算、轨迹和训练方式并未标准化

这里最重要的方法细节是量词不同：编码只要求2类任务中至少一类通过，而“知道”要求4道问法全部通过。前者有意追求“只要能在训练式语境里复现，就把它当作存储证据”；后者有意追求“跨措辞与方向都能稳定生成”。因此，同一事实很容易落入“已编码但不知道”的区域。这不是作弊，而是论文诊断框架的设计选择；同时，它也意味着“召回瓶颈”的比例会受这组宽编码、严召回标准影响。

论文进一步划分五种画像：编码失败、即使thinking也无法访问的召回失败、无需thinking的直接召回、只能靠thinking找回，以及“未通过编码任务但thinking答对”的推断型知识。最后一类可能来自多跳推导或猜测，也可能是编码任务漏检，作者自己将其视为较不可靠的类别。

WikiProfile怎样从一万页缩到2150个事实

数据构造先抽取10000个英文Wikipedia页面摘要，并保留页面浏览量作为流行度代理。自动管线用Gemini-2.5-Pro with thinking识别实体、选择适合补全的对象、生成正向与反向问题、改写自然措辞，再用Google Search辅助检查答案唯一性和歧义。任一关联问题被拒，整条事实就被丢弃。

自动过滤后约剩2200个事实，人工最终核验又删除不到2%，得到来自2125个页面的2150条记录。Google在Hugging Face发布的数据卡显示，数据覆盖9个主题类别和19种实体类型，每一行都保留源摘要、正反问题、自然改写、多选项及页面流行度。

这条管线有两面。优势是每条事实都能形成结构一致的十任务测试，规模足以把问法、方向和thinking状态分开；风险是事实选择、问题生成、搜索过滤与答案评分都大量依赖提示式模型。人工核验只发生在最终事实集，并不等于对约450万次模型回答逐条人工打分。数据卡和论文公开了字段、提示与流程，外部团队可以重跑部分环节，但闭源前沿模型版本与服务端默认thinking配置仍会变化。

Wikipedia来源也是刻意选择：研究者需要一种很可能进入预训练语料、又能提供原始上下文的知识源，才能设计“训练语境相似”的编码探针。代价是，高编码率部分反映了Wikipedia在大模型训练中的高覆盖度。论文限制章节明确说，这是“相对显著的百科事实”领域，结论未必迁移到其他语料；数据构造提示还主动排除了未注明时间范围的动态事实。企业内部制度、当天价格、实时人物职务和新近事件都不在这个实验里。

数字支持“召回瓶颈”，但主语是这套基准

论文评估的13个模型来自5个家族，包括Gemini 2.5、Gemini 3、GPT-5系列、GPT-4.1系列与Gemma 3的四个尺寸。每个模型都测有、无thinking：对原生thinking模型使用默认设置并把effort或budget设为零来关闭；对GPT-4.1和Gemma 3则用CoT提示模拟。这让研究能覆盖闭源与开放权重模型，却不能把不同“thinking”视为完全相同的干预。

观察	论文结果	可支持的判断	外推边界
GPT-5与Gemini-3 Pro编码	95%至98%	WikiProfile中的大多数事实能在强启动语境复现	不是模型掌握全部现实知识的比例
不启用thinking的直接召回失败	26%至34%	高编码与稳定开放式生成之间仍有明显缺口	受四问全过、阈值和采样设置影响
启用thinking后仍失败	11%至12%	额外计算能缩小但不能消除缺口	不是通用幻觉率，也不覆盖长文事实一致性
thinking恢复已编码但未直接知道事实	40%至65%	对thinking优化模型，恢复更集中发生在已编码组	是条件比例，不能写成所有错误下降同样幅度
单个前沿模型完整画像成本	约500美元	细粒度重复采样有现实评测成本	可减少样本或多选题降本，但统计稳定性会变化

长尾实验提供了更具体的机制线索。论文以页面浏览量底部20%和顶部20%作比较：以Gemini-3 Pro为例，热门与冷门事实的编码率分别约为99.5%和94.5%，只差约5个百分点；在已经编码的事实中，直接召回率约为84.6%和63.3%，差约21.3个百分点。这支持“冷门事实常常不是完全没进参数，而是更依赖提问条件”的解释，但页面浏览量只是稀有度代理，不能替代训练语料中的真实出现频率。

反向提问也显示识别与生成的分离。GPT-5对正向问题的生成召回约为82.9%，反向约为74.0%；到了多项选择，论文称13个模型中有9个的反向识别反而更容易，其余4个相近。模型在候选答案出现时能认出来，却不能在关系倒置后自由生成，这更像访问路径脆弱，而不是简单缺少双向关联。

thinking为何有效，论文还没有给出内部因果证明

作者考虑了三种解释。其一是thinking增加输出多样性，碰巧提高至少一次答对的概率；其二是模型从其他知识多步推导出答案；其三是中间计算提供缓冲与启动，帮助定位已经编码的事实。实验发现，原生thinking模型启用thinking后，同一问题的回答反而更一致，因此响应多样性不太像主要机制。

更强的证据来自条件恢复率：thinking优化模型能找回40%至65%的“已编码但不能直接知道”事实，而对未通过编码任务的事实帮助显著更小。研究中的目标事实又是单跳关系，不需要复杂演绎，所以“促进召回”是更简洁的解释。相关的Google六月研究解读也把计算缓冲和事实启动列为可能机制。

不过，这仍是输出行为证据。编码探针可能漏掉真实表征，thinking也可能利用其他事实进行轻量推断；研究没有观测闭源模型内部激活来证明某条记忆被取出。并且，Gemini与GPT-5使用原生thinking，GPT-4.1与Gemma 3使用CoT提示，默认计算预算并不统一。最严谨的说法是：在WikiProfile的thinking优化模型上，结果与“额外计算主要促进已编码事实的访问”一致，而不是“思维链已被证明是所有模型的记忆读取器”。

额外计算也有账单。论文称前沿模型有10%至20%的事实只能通过thinking访问，完整评估单个前沿模型约需500美元。生产系统若对每个事实问题都开启最高thinking，会把召回收益换成更高延迟和token成本；若只在必要时开启，又要求模型先判断自己何时取不出答案。作者把这称为元认知问题，目前没有在该研究中解决。

产品团队应避免四种误读

常见写法	问题在哪里	更准确的落地结论
“前沿模型已经记住现实世界95%至98%的事实”	分母只是WikiProfile，编码又是强启动条件下的行为判定	在这批Wikipedia事实上，GPT-5与Gemini-3 Pro很少出现编码任务失败
“召回是所有幻觉的主要原因”	实验测短答案闭卷事实，不测指令冲突、长文漂移、工具误用或虚构引用	召回失败是该基准中前沿模型剩余错误的主要类型之一
“thinking能解决40%至65%的幻觉”	该比例以已编码但不能直接知道的事实为条件，不是全部错误分母	thinking是值得测试的恢复策略，收益应和成本及新错误一起测
“既然知识在参数里，RAG可以删除”	时效、私有知识、出处与审计都超出实验范围	参数召回负责速度与流畅性，检索负责更新、证据与可追溯性

对模型研发者，可复用的第一步是把内部事实集转换成多视角探针：训练式上下文补全、自然问法、关系反向、多选识别和有无thinking。若模型在识别题稳定、开放生成不稳，应优先研究访问与后训练；若连强启动补全都失败，再考虑数据覆盖与预训练。

对企业应用，路由策略比“一律深度思考”更现实。直接回答前先估计事实是否时效敏感、是否来自私域、是否要求引用；需要最新或可审计证据时直接检索。只有在静态参数知识、低风险且直接召回不稳的情形下，thinking才可能成为成本可控的第二次尝试。最终验收应同时记录正确率、拒答率、检索调用率、thinking token、延迟与单位成功答案成本。

接下来最关键的复现不是再跑一个Wikipedia总分，而是换语料与任务形态：加入有明确时间戳的动态事实、企业私有文档、多跳关系、长文引用和跨语言问法；再用人工抽查验证自动评分器是否把同义答案与不同粒度答案稳定分类。只有当“高编码、低召回”的差距在这些场景中仍出现，召回瓶颈才可能从一项有解释力的基准发现，发展为更普遍的模型工程结论。