Real-SWE把编码Agent拉进私有代码库
HN当天讨论把私有企业代码库评测推到台前。
本文要点
- 从公开题库分数，转向授权私有生产代码库上的任务成功率。
- 从只看模型，转向模型与Claude Code、Codex CLI等harness组合。
- 从单看通过率，转向需求遗漏、集成错误和回归风险分类。
阅读辅助
先看数字、证据和来源，再读正文。
本期新闻锚点是HN讨论，而非旧基准材料重新包装。
2026-09 · Specific Labs发布Real-SWE页面，称用于私有真实企业代码库评测。
Real-SWE这条新闻值得放进今日最重要，关键在于它把编码模型评测场景从公开题库移到了私有企业代码库。2026年9月12日20:25:48 UTC，Hacker News item 49676820把Specific Labs的Real-SWE页面带进当天讨论窗口；页面本身给出的核心结论是，当前最强组合Fable 5.1配Claude Code的resolution rate只有38.8%。
可以确认的事实很具体。Specific Labs称Real-SWE评测frontier AI models on private, real-world, enterprise codebases；每个任务来自获得授权的私有生产代码库，任务涉及计费、税务、客户迁移、API key、数据计量、区域部署等真实工程改动。页面把resolution rate定义为pass@1，并说明该数值按每个任务8次独立运行平均。
需要保留的边界也同样重要。Real-SWE的任务集并非完整公开，外部读者目前难以逐题复现实验；榜单比较的是“模型加harness”的组合，裸模型排序并不是它的口径。HN讨论可以证明这件事进入当天社区视野，但不能单独证明Specific Labs的每个结论都已被第三方验证。因此本文把置信度定为medium，并把SWE-bench和Terminal-Bench只作为背景来源。
对企业工程团队而言，榜首归属只是入口。Real-SWE更有价值的地方，是把“编码Agent能否做真实软件工程”拆到更接近采购和上线验收的问题：它能不能读懂公司自己的业务规则；能不能跨服务改动并保住既有行为；能不能在不完整需求中主动查证，减少猜测实现。
社区为何在今天讨论它
本期news peg来自HN讨论窗口。discovery.json记录到的条目标题是“Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases”，来源为Hacker News，链接指向Specific Labs的Real-SWE基准页。HN条目时间为2026-09-12T20:25:48Z，落在本期generated_at向前24小时窗口内。
写作上必须把这点说清楚：Real-SWE页面标注为September 2026，并写着“Today we are releasing Real-SWE”。本期报道的当天增量，是HN在9月12日把这个基准推入开发者社区讨论。SWE-bench或Terminal-Bench这些既有材料只解释评测脉络，不能被写成当天发布。
Real-SWE页面的口径比常见公开代码题更接近企业现场。页面称，每个任务来自私有生产代码库，是实际公司工程师会处理的问题，并带有现有产品的上下文和复杂性。示例包括一个类似Luma或Partiful、拥有200K+用户并进入App Store Top 100的消费应用，一个处理100K+银行对账单的消费金融平台，以及支持复杂业务流程的企业AI销售平台。
这类任务的难点不只是“写对代码”。页面强调，Agent必须理解专有系统、业务后果和公司特定复杂性。例如税务任务要求根据不同商户的税务配置、买方地址、豁免客户、沙盒或生产税务服务、发票结算和VAT注册信息一起工作。这样的任务会把模型从单文件修补推到跨服务、跨规则、跨状态的维护场景。
排名和口径
Real-SWE总榜里，Fable 5.1配Claude Code以38.8%排第一，GPT-6 Astra配Codex CLI以33.8%排第二，Gemini 3.8 Flash配Gemini CLI以31.2%排第三，GLM 5.3配Claude Code以28.8%排第四。Grok 4.6配Grok Build和Muse Spark 1.3配Muse Code同为23.8%，Kimi K3为18.8%，GPT-5.6 Sol配Codex CLI为16.2%。
这组数字有两个读法。第一，最高通过率仍不到四成，说明“能在演示里写代码”距离“能稳定完成企业维护任务”还有明显距离。第二，榜单条目把模型和harness放在一起，说明编码Agent的生产能力不能只按底座模型打分；Claude Code、Codex CLI、Gemini CLI、Grok Build、Muse Code这些执行环境本身也是能力的一部分。
| 排名 | 模型 | harness | resolution rate |
|---|---|---|---|
| 1 | Fable 5.1 | Claude Code | 38.8% |
| 2 | GPT-6 Astra | Codex CLI | 33.8% |
| 3 | Gemini 3.8 Flash | Gemini CLI | 31.2% |
| 4 | GLM 5.3 | Claude Code | 28.8% |
| =5 | Grok 4.6 | Grok Build | 23.8% |
| =5 | Muse Spark 1.3 | Muse Code | 23.8% |
| 7 | Kimi K3 | Kimi Code | 18.8% |
| 8 | GPT-5.6 Sol | Codex CLI | 16.2% |
页面还给出任务结构。典型Real-SWE指令中位长度为1,742个字符，参考解法中位编辑11个文件；同页引用的FrontierCode和DeepSWE参考解法中位编辑文件数为6。这意味着Real-SWE并非简单加长prompt，而是在真实仓库结构里要求模型追踪更多调用点、配置、测试和业务约定。
有一个数字需要谨慎写。页面方法段写的是Real-SWE有8个repository-backed sample tasks，并说明resolution rate按每任务8次独立运行平均；结果分析区还列出10个具名任务面板。本文把frontmatter里的关键数字改成“每任务8次”运行口径，并在正文中同时交代8个样本任务与10个任务面板，避免把两种页面口径合并成一个数据集规模。
失败来自哪里
Real-SWE最有信息量的一张图，是rollout时长和失败率的对比。页面写明，10分钟以内的rollout中有70/98失败，失败率71.4%；10分钟以上的rollout中有398/542失败，失败率73.4%。这个对比不能推出“跑得越久越差”，因为时长可能与任务难度、模型探索路径和工具调用次数相关；但它足以说明，简单给Agent更多时间并不自动解决企业代码库任务。
失败分类也比总分更值得看。Specific Labs把失败归为unverified assumption、missed requirement、integration error、regression、wrong file等类型。各模型分布不同：GPT-5.6 Sol失败中unverified assumption占43.3%，Grok 4.6失败中missed requirement占67.2%，Gemini 3.8 Flash失败中integration error占49.1%。这些差异说明模型会在不同环节掉链子，不能用一句“不会写代码”概括。
| 失败类型 | 页面解释 | 对企业代码库的含义 |
|---|---|---|
| Unverified assumption | 没在工作区查证就基于猜测行动 | Agent需要更强的代码搜索、证据记录和自我质询 |
| Missed requirement | 漏掉指令要求的行为 | 需求追踪和验收清单比生成速度更重要 |
| Integration error | 想法正确但接入周边系统失败 | 真实仓库的服务边界、配置和测试决定成败 |
| Regression | 改动目标功能时破坏既有行为 | 企业评测必须包含回归测试和业务不变量 |
| Wrong file | 改到运行路径不会调用的位置 | Agent需要理解入口、构建产物和部署路径 |
这组分类解释了为什么Real-SWE对企业更有参考价值。公开题库常把正确答案压缩成一个补丁；企业代码库则会要求Agent理解哪些路径是真入口，哪些测试能证明行为，哪些业务规则来自账务、税务、CRM或客户数据。即使模型能写出局部正确代码，只要漏掉结算、权限、迁移脚本或后台任务，最后仍是失败。
与SWE-bench、Terminal-Bench的关系
SWE-bench的价值在于让模型面对真实开源项目issue，它把软件工程评测从短算法题拉到仓库级修复。Terminal-Bench则把评测重点放到终端环境、命令执行和多步任务上。两者共同提供了一个背景：编码Agent能力正在从单次补丁转向更长链路的工程代理。
Real-SWE沿着这条线继续往企业侧推进。Specific Labs页面强调，Real-SWE任务是私有的，解决方案不在公共互联网上，Agent必须处理公司自己的编码习惯和业务规则。页面甚至写出“99% of tokens in real-world enterprises are hidden away from the frontier models”这一判断。本文只把这句话作为Specific Labs的观点引用，不当成经外部审计的行业统计。
差异在于可验证性。SWE-bench的开放性让研究者可以复查样本、跑替代模型、比较补丁；Real-SWE因为强调私有企业代码库，天然更接近真实生产，也天然更难被外部验证。企业买方如果采纳这类基准，真正需要的不只是榜单截图，而是可审计协议：任务抽样如何完成，验收测试如何设计，代码库授权如何保护，失败类型如何标注，模型和harness版本如何冻结。
评测口径怎么读
本题没有keep、remain、maintain这类状态动词风险，但有多个百分比和比较基准，必须保留原文口径。
| 口径 | 可采用表述 | 易误读点 |
|---|---|---|
| Resolution rate | 等同pass@1，按每任务8次独立运行平均。 | 容易误解成每个模型只跑8次。 |
| 私有企业代码库 | 授权私有、真实世界、企业级代码库。 | 容易误写成公开GitHub题库。 |
| 模型加harness | 排名绑定Claude Code、Codex CLI等执行环境。 | 容易误写成裸模型能力排序。 |
| rollout时长 | 10分钟以内失败率71.4%，10分钟以上为73.4%。 | 不能推出时间越长一定更差。 |
| 置信区间 | 页面显示95%置信区间。 | 不能默认所有名次差距都显著。 |
这个表的核心作用是防止把基准语义写漂。尤其是“模型与harness组合”这一点，会直接影响读者如何理解榜单。Fable 5.1的38.8%是在Claude Code执行环境下的结果；GPT-6 Astra的33.8%是在Codex CLI环境下的结果。若写成纯模型能力排序，就会漏掉工具执行层的影响。
企业应该怎么读
企业读Real-SWE时，第一层应该看“成功率够不够用于无人值守”。从最高38.8%看，答案仍然偏保守。这个数字更适合支持“人类工程师加Agent”的生产流程，而不是把任务完全交给Agent。尤其是计费、税务、客户迁移和数据计量这类任务，错误会带来账务、合规和客户体验成本。
第二层应该看“失败类型能不能转成流程约束”。如果主要失败是missed requirement，团队可以强化任务拆解、验收清单和需求追踪；如果主要失败是integration error，就要把本地服务、测试数据、外部依赖模拟和回归套件接进Agent工作流；如果主要失败是unverified assumption，就要要求Agent在修改前留下证据链，例如它查了哪些文件、确认了哪些入口、排除了哪些路径。
第三层才是比较模型。Real-SWE显示Fable 5.1、GPT-6 Astra、Gemini 3.8 Flash和GLM 5.3之间存在差距，但这个差距也受到执行环境影响。成本图同样说明，更贵的rollout不必然带来更高resolution rate：Gemini 3.8 Flash在页面估算里每次rollout约2.50美元，通过率31.2%；Fable 5.1约6.96美元，通过率38.8%。采购时要比较的是“每个可验收任务的总成本”，不是单次调用价格。
Real-SWE把编码Agent竞争拉到更难粉饰的位置：真实企业代码库奖励的是查证、接入和保留业务不变量的完整工作流，而不只是补丁生成。最高pass@1仍低于四成，这组结果提醒企业，当前产品形态仍需要人类工程师承担需求澄清、风险判断和最终验收。
更重要的变化在harness层。过去很多编码榜单默认把模型当作唯一主体，Real-SWE明确把Claude Code、Codex CLI、Gemini CLI等执行环境纳入结果名称。企业购买的是能读仓库、调用工具、跑测试、解释失败和回滚风险的系统。模型厂商如果只宣传底座分数，会越来越难回答生产可用性问题。
这类私有基准的悖论也必须正视：越贴近真实企业，越难完全公开；越难公开，越需要透明的评测协议。Specific Labs给出了有价值的方向，但下一步需要更多任务、更多独立复测和更清楚的置信区间解释。否则Real-SWE会成为采购讨论里的强信号，却还不能成为可独立审计的行业标准。
采购验证清单
后续最值得跟的是三条线。Specific Labs若能开放更多任务描述、评测协议和抽样方法，哪怕不公开完整私有代码，也能让外部知道任务如何被选出、如何被验收、如何避免供应商过拟合。模型厂商若按失败类型回应，会比单纯补一个更高总分更有价值；需求遗漏、集成错误和回归风险分别需要不同工程措施。
企业自己的PoC是另一条验证线。一个可操作的采购流程应该让候选Agent在企业自己的脱敏仓库、真实测试套件和业务验收规则上跑，而不是只看公开榜单。Real-SWE今天的价值，就是把这个讨论从“谁在公开题库上更高”推进到“谁能在我的代码库里少犯错”。
附录：本篇采用的事实边界
- Real-SWE页面是本篇核心来源；它证明榜单、任务设计、失败分类和rollout统计。
- HN item 49676820是本期news peg；它证明9月12日社区讨论，不证明基准结论本身。
- Terminal-Bench和SWE-bench均为背景来源；本文不把它们写成当天发布。
- Real-SWE结果比较的是模型加harness组合；本文不把Fable 5.1、GPT-6 Astra等写成孤立模型排序。
- 私有任务集提高现实相关性，也降低外部可审计性；因此本文置信度保持为medium。