Anthropic开放Claude真实使用数据研究
新闻钩子是研究开放试点和意向表单,原始对话仍未开放。
本文要点
- 外部研究者从只能读厂商报告变成能提出自己的研究问题。
- 公开材料从摘要扩展到三组研究收到的聚合簇数据。
- Anthropic把隐私红队和合同审查范围一起写进发布。
阅读辅助
先看数字、证据和来源,再读正文。
这次开放的是聚合研究输出,原始Claude对话仍未开放。
2024-12-12 · Anthropic发布Clio,用聚合簇分析Claude真实使用。
Anthropic在2026-08-26发布了一篇研究说明,披露其外部研究者合作试点:Stanford SALT Lab、Oxford Human Information Processing Lab和METR分别通过 Anthropic Insights 分析真实 Claude 使用数据。新闻增量集中在数据访问机制和试点结果:外部研究者如何使用聚合Claude数据、能看到什么、不能看到什么,以及下一轮意向表单如何开放。
三条事实构成本期判断入口。三组研究围绕研究者自己提出的问题运行;研究者拿到的是 Anthropic Insights 输出的聚合簇、比例和交叉统计,原始对话、用户标识和组织标识没有交给外部团队;SALT已经有完整写作,HIP Lab和METR仍在完成后续分析,官方说会分享更多。
需要收住的边界同样清楚。Anthropic仍负责在自家服务器上运行数据抽取,仍有隐私、安全、保密信息和研究准确性的审查权,也保留最终判断哪些数据能共享的权力。公开数据集让外部读者可以检查聚合输出和部分研究设计,但它不允许复原单条对话,也不能替代对分类器误差、样本偏差和问题措辞敏感性的审查。
对研究者、政策团队和企业买方来说,这条新闻的核心价值在证据来源:AI使用研究开始从“模型公司自己说用户怎么用”走向“外部团队在有限沙盒里问自己的问题”。这个方向很重要,但它仍是一种受控开放。读者应同时记住两个词:独立性提高,访问权仍受平台控制。
这次到底开放了什么
Anthropic在文章中说,今年早些时候它运行了一个试点,让外部研究者访问“aggregate, real-world Claude usage data”。三组外部研究机构分别设计研究,然后通过 Anthropic Insights 运行。Anthropic替他们执行数据收集,研究者做自己的独立分析。文章同时公开了每个项目的聚合数据,并给未来研究者提供了 expression of interest form。
这个工具的工作方式,决定了报道必须避开“开放Claude聊天记录”的表述。附录解释,Anthropic Insights会让Claude读取一批对话,并回答研究者写好的固定问题,例如用户在做什么任务、助手是否反驳用户。每个问题称为一个 facet。开放式问题的答案再按语义相似度聚成簇,由Claude写出簇名和描述;选择题或数值型问题则被汇总为计数。研究者看到的是簇描述、计数和比例,对话正文不在开放范围内。
Hugging Face 数据集 README 也把边界写得很直白:这个目录包含三组外部研究获得的 Anthropic Insights 数据,且“No raw conversations are included here”。它列出四个配置:stanford、oxford、metr和metr_addendum,分别对应三个研究组和METR的追加运行。文件是CSV形式的聚合簇表,列包括cluster_id、facet_id、cluster_name、cluster_description、num_records、num_orgs、ratio和置信区间等。
| 对象 | 当前状态 | 样本口径 | 可以证明什么 | 不能证明什么 |
|---|---|---|---|---|
| Stanford SALT Lab | 已有完整写作 | 249834条 Claude.ai 对话 | 可分析协作、任务重要性和摩擦 | 不能代表Claude Code或企业/API客户 |
| Oxford HIP Lab | 仍在完成写作 | 约25万条 Claude.ai 对话 | 可观察情绪体验与Claude行为的聚合关系 | 不能写成完整论文结论已发布 |
| METR | 分析仍在进行 | 约25万条 Claude Code 对话 | 可做coding agents生产力增益的早期估计 | 不能写成生产力结论已经定稿 |
| 公开数据集 | 已发布聚合输出 | 四个CSV配置 | 可复查簇名、比例、交叉统计和README限制 | 不能查看原始对话或个人身份 |
这里的“每组约25万”也要拆开理解。附录说,Stanford和Oxford各自使用约25万条 Claude.ai 对话;METR使用约25万条 Claude Code 对话。数据来自2026年4月至5月的固定窗口,每次运行抽取自己的独立样本。试点不包含 Team、Enterprise 或 API 客户数据。Claude Code样本还限定为消费端用户,并且这些用户选择允许Anthropic使用其数据改进模型。
三组研究分别告诉了什么
SALT Lab的研究是目前最完整的一组。它研究人类如何和AI协作:人们把什么类型的工作交给AI,人类在完成任务时保留什么角色,协作在哪些地方会出问题。论文摘要和正文显示,研究样本为249834条真实Claude.ai对话,时间是2026-04-25到2026-05-09,覆盖Free、Pro和Max计划,不包括Claude Code和Claude Cowork等agentic产品。
SALT的几个数字值得保留。论文称,在可评估对话中,56%达到 consequential 或更高重要性层级,12%为 high-stakes;人类主导、AI辅助的协作占72%;AI以某种方式教学的对话占67%;约49.7%的对话出现某种摩擦;在有摩擦的对话中,用户尝试恢复的比例为78.7%。这些结论不能被解读成用户已经放心外包高风险工作;更准确的含义是,Claude真实使用里已经出现大量会影响外部利益、法律、财务或运营结果的任务。
HIP Lab这一组不能写成完稿。Anthropic正文说,Oxford Human Information Processing Lab正在研究人们使用Claude时的感受,以及这种感受如何与Claude行为相关。早期结果显示,用户情绪和AI行为模式会一起出现:Claude表现得温暖时,用户更积极;Claude拒绝或不同意时,用户会回推;Claude显得古怪时,用户更容易出现智识参与;Claude只是提供帮助时,用户看起来更满意。Anthropic还说,吸收、挫败和享受等状态之间的模式与另一项日常互联网浏览研究相近。但官方原话是“still completing their writeup”,因此这里最多是早期方向,完整论文尚未经过外部同行复核。
METR这一组也必须保持进行时。Anthropic说,METR正在估算coding agents带来的真实世界生产力增益,以及这些增益如何随模型代际变化。它的Claude Code分析“still underway”。早期结果只显示两个方向:更强模型可能为用户节省更多时间;Claude对任务无AI耗时的估计与一项既有开发者研究中的真实耗时有相关性。官方还写到METR“plans on sharing more as their analysis develops”。这意味着今天不能把METR写成已经给出明确生产力倍数,更不能拿它替代后续完整报告。
状态口径边界
这类公告最容易把状态词写歪。下面是本文采用的翻译口径:
| 英文口径 | 本文处理 | 误读风险 |
|---|---|---|
| ”aggregate, real-world Claude usage data” | 真实使用数据的聚合输出 | 原始对话开放 |
| ”No raw conversations are included here” | 不包含原始对话 | 可下载聊天记录 |
| ”They are still completing their writeup” | HIP Lab和METR仍在完成写作 | 两组已发布完整报告 |
| ”analysis is still underway” | METR分析仍在进行 | METR已完成结论 |
| ”plans on sharing more” | 计划随分析推进分享更多 | 已经披露完整生产力数字 |
| ”Less than 5% of categories and conversations were affected” | 每项研究中被调整或移除的类别和对话少于5% | 全部数据被清洗少于5% |
少于5%这一句尤其需要克制。主文说的是“categories and conversations were affected”,附录给出更细数字:Stanford开放式簇中被删改的簇占1.9%,对应对话占4.28%;Oxford为3.33%的簇和3.85%的对话;METR为1.8%的簇和2.96%的对话。Oxford还有一个facet被整体移除,因为Anthropic强烈怀疑问题措辞导致了误导性簇描述。这个脚注提醒读者:Anthropic Insights的输出属于模型判断、研究者问题和隐私阈值共同作用后的聚合结果,不能当作对世界的直接测量。
隐私设计也是研究设计
Anthropic把这次试点包装成研究开放,但文章篇幅里很大一部分其实在讲隐私和流程。原因很直接:真实使用数据是AI影响研究最稀缺的材料,也最容易变成平台监控、商业泄露或个人隐私风险。
附录中的流程有几道门。研究组先提交研究提案和 Anthropic Insights 配置;Anthropic Societal Impacts团队从技术角度协助把问题改写成工具能运行的facet;随后研究者在WildChat这类公开对话数据上验证配置;正式运行前,法律和隐私团队再审查配置;运行完成后,Anthropic员工人工审查每个簇名和描述,再分享给合作方。合作方约有60天分析输出并提交初步写作,Anthropic只按协议范围检查方法描述、工具描述和输出数据描述的研究准确性。
这一套流程带来两个后果。好的一面是,外部团队不需要接触原始对话,也能在真实使用数据上提出问题。坏的一面是,研究速度会慢,研究空间会被工具形态和审查流程限制。Anthropic自己也承认,外部研究伙伴不能像内部团队那样反复迭代问题,因为每次共享新数据前都需要隐私审查;而在WildChat上表现良好的问题,放到Claude真实对话上可能会生成误导性类别。
隐私红队结果也需要细读。Anthropic把数据和威胁模型交给 Imperial College London 的AI Security and Privacy Lab,给红队2周尝试重新识别用户或违反威胁模型。红队没有成功重新识别用户,也没有发现威胁模型内的违反情况。但他们发现一个模型外风险:当许多无关用户使用同一个工具时,簇描述可能带出工具设计或功能措辞,从而被高置信地关联到一个流行开源项目。Anthropic认为这不属于个人、小群体或组织识别,因此没有违反当前威胁模型,但计划未来提高簇的最小用户阈值,并调整簇描述生成方式。
为什么这件事值得放进深度
AI行业此前关于“真实使用”的公共证据,一直有结构性缺口。模型公司拥有日志、产品遥测和对话样本,但它们公开的分析通常回答自己的问题。公共数据集让外部研究者更自由,却常常偏向公开聊天、演示、休闲或特定平台用户,不能代表主流付费产品的真实使用。Anthropic这次试点介于两者之间:它没有把原始数据交出去,却把问题设定权部分交给外部研究者。
这对政策讨论很关键。监管者、劳工经济学家和教育研究者需要同时看到两类证据:模型在基准上会不会做某件事,普通人何时把它用于法律、金融、医疗、开发、学习和管理任务。SALT的发现说明,至少在Claude.ai样本中,高重要性任务已经不是边缘行为。若后续HIP和METR的结果公开,研究问题还会从“任务类型”扩展到“使用体验”和“生产力增益”。
但这条路径不会自动产生完全独立的证据。Anthropic仍定义工具能力、样本范围、隐私阈值、审查流程和可分享数据。外部研究者能独立提出问题和解释结果,却不能直接访问会话,也不能无限迭代分类问题。这种设计是隐私必要条件,也是研究局限。更稳妥的解读是:它属于模型公司开放真实使用证据的一种中间形态,距离彻底的数据开放仍有明显差距。
这次试点把焦点从单个Claude使用比例,移到AI影响研究的证据权限。过去,“真实使用”几乎只能由平台方讲述;现在,至少有三组外部团队可以在聚合数据上问自己的问题,并把不一定让平台舒服的结果公开。这会给政策、劳动市场和产品设计讨论提供更好的材料。
同时,Anthropic的方案仍停留在受控开放阶段。它把隐私风险压到较低位置,也把研究者锁在 Anthropic Insights 的抽象层里。簇名由模型生成,问题措辞会影响分类,低频群体会因阈值被压制,研究者看不到原始对话来做深度质性核对。它更像一个带护栏的观测台,离公共数据基础设施还有距离。
早报判断是:如果更多模型公司跟进,行业会形成一种新的透明度竞争。比起发布漂亮的经济影响报告,更有说服力的是让外部团队拿相同工具、不同问题、可公开的聚合输出去互相挑战。难点在于,平台既要保护用户和商业机密,又要让外界有足够材料质疑平台自己的解释。Anthropic这次给出的是第一步,后续要看它是否愿意把这个试点从可信关系扩展成稳定制度。
接下来看什么
研究合作能否扩容,是接下来最直接的信号。Google Form显示,Anthropic正在考虑下一轮项目,并要求研究者在2026-09-14 17:00 PT前提交意向。表单问题不只收集姓名和机构,还要求说明研究问题、如何使用 Anthropic Insights,以及希望产生什么社会收益,这意味着下一轮选择标准会看“公共知识增量”。
未完稿研究决定这条线的解释力。HIP若能把用户情绪、模型行为和网页体验研究放在同一框架下,可能补上“AI是否改变用户心理状态”的实证材料。METR若能把Claude Code会话里的时间节省估计讲清楚,则会直接影响coding agents生产力讨论。在完整报告出现前,今天只能引用Anthropic披露的早期方向,不能把它们当成最终结果。
公开聚合数据会检验外部复核空间。Hugging Face 数据集提供了stanford_clusters.csv、oxford_clusters.csv、metr_clusters.csv和metr_addendum_clusters.csv。外部研究者可以检查簇、比例、交叉表和限制说明,但仍不能核对原始对话。复核重点会落在分类问题是否合理、簇描述是否过度解释、低频阈值是否造成偏差,以及同一份聚合输出能否支持其他解释。
隐私阈值的调整会影响下一轮质量。附录已经写明,红队虽然未重新识别用户,但可以把某个簇关联到流行开源项目。Anthropic计划提高未来研究的最小用户阈值,并修改簇描述生成方式。阈值越高,隐私越稳,长尾现象越容易消失;描述越抽象,安全越稳,研究解释力也越弱。下一轮试点能否把这个权衡讲清楚,比单次发布更重要。