T3MP3ST 拿下 GitHub Trending 1581 分,但「8-Agent 蜂群」目前仍是单 Agent 跑出来的成绩

T3MP3ST(全称 Tactical Execution Multi-agent Platform for Elite Security Testing)2026-07-06 当天 GitHub Trending 拿下 1581 trending 分,三日累计 1.6k stars / 414 forks / 41 commits,作者是 prompt 越狱社区代表人物 elder-plinius(网名 Pliny the Prompter)。项目把自己定位成「a multi-agent offensive-security framework, built to turn the AI coding agent you already run into a zero-day hunter」——这一句话决定了它和市面上所有「AI 红队」工具的差别。真正的新点不是「多 Agent」,而是「把你本机已经在跑的 Coding Agent 重新打成红队黑客 Agent」的元层抽象;这个差别决定了 90.1% 这类 benchmark 数字背后,我们到底在评估什么。

重新定义工具形态:把「你本地的 Coding Agent」打成「红队黑客 Agent」

T3MP3ST 的安装只有一行:

npm install
npm run server        # War Room → http://127.0.0.1:3333/ui/

装好之后在浏览器打开 War Room,把本机已经登录的 Claude Code / Codex / Hermes 接进来作为 LLM 后端,或者把环境变量指向 Ollama / LM Studio / vLLM 这类 OpenAI 兼容服务,完全离线跑。README 列出的 API key(OPENROUTER_API_KEY / VENICE_API_KEY / ANTHROPIC_API_KEY / OPENAI_API_KEY / XAI_API_KEY)放在「或」的位置,没有任何一个是必填。作者给这种设计起了一个名字:keyless。

keyless 是 T3MP3ST 与同类工具最大的分水岭。2025-2026 年的 AI 红队工具大致分四类:

类型	代表	LLM 来源	离线支持	多 Agent
绑死云端厂商	PentestGPT、Reaper AI	必须申请 OpenAI / Anthropic API key,数据出境风险	否	否
学术 prototype	Cybench / XBEN 原始 paper	任意	否	否
企业商用平台	各类 SOAR + AI 插件	自托管或云端,贵、慢、签合同、可能私有化部署	否	部分
T3MP3ST	npm 包	本地 Coding Agent 或 API key(均非必填)	是(Ollama / LM Studio / vLLM)	8 Operator(stable × 3 + experimental × 5)

T3MP3ST 切进了一个之前没人系统切的格子:做开源 npm 包,直接吃本机已经在跑的 Claude Code / Codex / Hermes,把「Coding Agent 已经在用的工具」扩到「Recon + Scanner + 漏洞挖掘 + (理论上) 后渗透」,air-gap 也行。从入门成本看,它把「AI 红队」从「企业 SaaS」降到「npm install」——这是行业基础设施的一次降维。工程价值不在 90.1% 这个数字本身,而在于 offensive-security 工具第一次把 air-gap 写成 first-class 公民。

8 个 Operator 的真相:3 个 stable,5 个 experimental,蜂群是「代码组织方式」

T3MP3ST 的核心抽象是 8 个 Operator,每个 Operator 是独立 Agent,跑同一个 ReAct 循环,但被分配到 MITRE ATT&CK 框架的不同战术阶段。FEATURES.md 给这八个角色分配了不同的实现等级:

Operator	阶段	MITRE ATT&CK	实现状态
RECON	侦察	TA0043	Stable(已实现)
SCANNER	发现	TA0007	Stable(已实现)
EXPLOITER	初始访问	TA0001 / TA0002	Experimental
INFILTRATOR	横向移动	TA0008 / TA0004	Experimental
EXFILTRATOR	数据外传	TA0009 / TA0010	Experimental
GHOST	持久化	TA0003 / TA0005	Experimental
COORDINATOR	指挥控制	TA0011	Experimental
ANALYST	分析	—	Stable(已实现)

八个 Operator 通过 TempestCommand 编排器(一个继承自 EventEmitter 的中心类)调度,事件信号包括 command:started / operator:spawned / finding:discovered / credential:harvested / target:owned / detection:triggered,Web UI 用深色 cyberpunk 主题实时把这些事件推给操作员。

工具集(Arsenal)分两档:默认 35 个内置工具(dns_lookup / port_scan / http_request / subdomain_enum / dir_bruteforce / whois_lookup / header_analysis / technology_detect / xss_scan / sqli_scan / ssl_scan / password_spray / hash_crack / jwt_decode / vuln_scan / exploit_search 等),开 T3MP3ST_FULL_ARSENAL 环境变量再加载 48 个可选适配器(包含 metasploit、hydra 这类需要人工审批才能调用的后渗透驱动),总数 83。MCP 集成只暴露了一个工具名:security_recon——2026-06 项目主动删掉了 9 个 Pliny Specials(LEVIATHAN / SPHINX / GORGON / CERBERUS / TYPHON / GRIFFIN / SIMURGH / HYDRA / ARACHNE)与 /api/pliny/* 路由,只留这一条。

OPSEC 层分三档:Silent(1 次检测上限 / 5 分钟冷却)、Covert(3 次 / 1 分钟)、Loud(20 次 / 2 秒),还内置 IOC 追踪、timing jitter、日志脱敏、Tor / 代理集成、decoy 流量生成。Evidence Vault 支持 Critical / High / Medium / Low / Info 五档分级,CVSS 评分,evidence 类型覆盖截图、HTTP 请求响应、命令输出、文件、网络包、视频、内存转储、磁盘镜像。报告能输出 Markdown、HTML、PDF、DOCX、JSON/XML。War Room UI 自身是一个 Node 服务(npm run server 启动 127.0.0.1:3333/ui/),默认只监听本机回环地址,不主动对外暴露——这与 offensive-security 工具的「first 不要让目标发现自己」的姿态是一致的。

值得多写一句的是 Pliny Specials 的退役范围:9 个被裁掉的角色(LEVIATHAN / SPHINX / GORGON / CERBERUS / TYPHON / GRIFFIN / SIMURGH / HYDRA / ARACHNE)在 2024-2025 年的 L1B3RT4S / G0DM0D3 时代是 Pliny 个人作品的核心命名资产——它们出现在 prompt 模板字符串、MCP 工具名、HTTP 路由前缀、CLI 子命令里。换句话说,这不只是「换 8 个 Operator 的命名」,是把过去两年沉淀在 Pliny 个人品牌下的工具契约整段重写。MCP 集成从「几十个 pliny_* 工具」收敛到「一条 security_recon」,Web UI 的事件总线从 pliny:command:* 改成 tempest:command:*。这是项目最难的一次自我重写,也是它从「个人作品集」过渡到「平台产品」最硬的工程证据。

重点警示:FEATURES.md 在 Operator System 表格里只把 RECON / SCANNER / ANALYST 三个标 [x] implemented,其余五个是 [~] experimental(stub)。文档同时写明:experimental 角色跑的是「the same real, tool-backed ReAct loop」,只是互相之间的协同尚未跑过端到端测试——也就是说,把「8 个 Operator 蜂群打满整条 kill chain」目前没有任何实战兑现。「experimental」标签的真实含义是「该角色的工具契约能跑,但没有作为蜂群一员跑过完整 kill chain benchmark」,而不是「该角色还没写」。

benchmark 数字读法:能复算的不等于能横向比较

T3MP3ST 在 README 里挂了四组 benchmark 数字,口径写得相当克制:

套件	结果	模型	口径
XBEN 黑盒	pass@1 mean 90.1%(Wilson-95 86.2-92.9,floor 91/104)	gpt-5.5	104 题,XBOW 自报 85%
XBEN 白盒	pass@1 98.7%,best-ball 104/104	gpt-5.5	白盒与黑盒分开报
Cybench	23/40(58%) hint-free pass@1	Opus 4.8	Anthropic 报 pass@10 为 76.5%
CVE-Zero	单 Agent 8/10 精确 file/line/CWE;10/10 found	未指定	10 个 2026 post-cutoff CVE,跨 7 门语言

这四组数字看上去很硬,但 README 在最后特意写了一句:

「These ran a single-agent ReAct loop, not the 8-operator swarm.」

——所有 benchmark 都是单 Agent ReAct 循环跑出来的,不是 8 个 Operator 蜂群联动。这一句话是理解整个项目定位的关键。T3MP3ST 目前交付的能力是「一个 Agent 带着 35-83 个工具打完整链」,而不是「8 个 Agent 协同做一次完整渗透」。「多 Agent 编排」是项目的产品愿景与代码组织方式,但在实际 benchmark 上,目前只验证了单 Agent 路径。FEATURES.md 也再次确认:experimental 角色跑的是「the same real, tool-backed ReAct loop」,只是它们互相之间的协同尚未跑过端到端测试。

下面把四组数字逐一拆开,看哪些能信、哪些要打折。

XBEN 90.1% vs XBOW 85%:5 个百分点里有相当部分是「更新模型带来的收益」

XBEN 是 XBOW 工程团队发布的 104 题黑盒/白盒 web 攻击 benchmark 集,被设计用来评估「自动化漏洞挖掘工具」而非「单一模型」。XBOW 自己报的数字是 85%(XBOW 自家工具跑同一套题),T3MP3ST 报 90.1%(Wilson-95 置信区间 86.2-92.9),比 XBOW 高 5 个百分点。但这个对比的公平性需要打三层折:

1. 模型口径不同:T3MP3ST 用的是 gpt-5.5 作为后端模型(2026 上半年的旗舰级),XBOW 跑的可能是 gpt-5 或更早的模型。这 5 个百分点里有相当部分是「更新模型带来的收益」,不是「T3MP3ST 编排带来的收益」。
2. graded verdict vs self-report:T3MP3ST 明说自己的数字是从「committed oracle」重算的,不是 self-report;XBOW 的 85% 是否也走同样的 oracle 流程,作者没有交叉验证。
3. 两边都是单工具 / 单 Agent:这次对比两边都不是「蜂群 vs 蜂群」,只能说明 T3MP3ST 的工具编排不输 XBOW,不能说明「多 Agent」这件事已经落地。

Cybench 23/40:pass@1 不能和 pass@10 直接比较

Cybench 是 Princeton / Anthropic 等团队联合发布的 40 题 CTF benchmark,目前被 LLM 厂商用来衡量「真实 CTF 能力」。Anthropic 自己报的数字是 pass@10 76.5%(跑 10 次取最高),T3MP3ST 报 pass@1 58%(单跑 1 次取命中率)。

这两个数字不能直接比较——pass@10 远比 pass@1 宽松。把 58% 的 pass@1 解读成「T3MP3ST 接近 Anthropic 旗舰水平」是不准确的。更公允的解读是:在 Opus 4.8 后端 + T3MP3ST 的 recon / tool-use 元层下,单跑一次就能搞定 58% 的 CTF 题;但要逼近 Anthropic 的 76.5%,还需要跑 10 次取最好。

CVE-Zero 8/10:方向性指标而非统计性结论

CVE-Zero 是 T3MP3ST 自己攒的「2026 post-cutoff held-out」基准,10 个 CVE,跨 7 门语言。其中精确 file/line/CWE 命中 8/10,「found」(发现但未精确定位)命中 10/10。

样本量 n=10 实在太少。pass@1 在 n=10 上的标准差大约是 ±15%,Wilson-95 置信区间会宽到 ±25%。作者自己在 README 里也标了「directional」,意思是「方向性参考,不是统计性结论」。从从业者角度,这组数字只能用来「定性感受 T3MP3ST 有能力在不联网、不查 CVE 数据库的情况下独立挖洞」,不能用来横向比较模型或工具。

npm run verify-claims:复算 ≠ 复现验证

T3MP3ST 在 README 里强调所有 headline 数字都能从 committed 数据重算,命令是:

npm run verify-claims   # 24/24 green

这是这个项目与同类工具最大的「工程诚意」差别。它把 benchmark 从「博客自报数字」变成「git clone + 跑一行命令即可复算」。具体做法是:每条 headline claim 在 claims/ 目录下挂一份「committed oracle」(评估脚本 + 评分规则 + 数据快照),verify-claims 跑完后给出每条 claim 是 pass 还是 fail 的明细,共 24 条,目前全绿。但请注意:复算 ≠ 复现验证。你只能复算作者写的 oracle 的分数,不能验证 oracle 本身是否合理——也就是说,「我写了一个 XBEN 跑分脚本,跑出 90.1%」是可复算的,但「这个跑分脚本的口径是否合理」是另一回事。这一点对从业者很重要:数字本身可复算 ≠ 数字与同类工具可比。

另一个不能忽略的细节:目前 verify-claims 的 24 条 claim 全部是单 Agent 路径的 oracle——没有任何一条是「full-chain 蜂群」的复算目标。换句话说,「蜂群端到端 0 命中」这件事在工具链层面连验证目标都还没建出来。等哪天 claims/ 目录里出现 full-chain-xben-pass1.claim 这类文件,才是蜂群真正进入 benchmark 轨道的硬信号。

Pliny 的两年主线:从越狱 prompt 到企业红队的迁移曲线

理解 T3MP3ST,不能跳过作者本人。

elder-plinius 在 GitHub 上公开身份是 Pliny the Prompter,bio 是「latent space liberator; red teamer, hacker, builder, whisperer」,挂外链 pliny.gg、X(@elder_plinius)、Discord(basi 服务器)、YouTube 频道,18.6k followers。他的 GitHub Pro 个人页公开了 46 个仓库,按主题排序如下:

仓库	Stars	主题
CL4R1T4S	44.7k	「LEAKED SYSTEM PROMPTS」,收集各厂商被泄露的系统提示词
L1B3RT4S	20.3k	「TOTALLY HARMLESS LIBERATION PROMPTS」,越狱 prompt 库
G0DM0D3	8.8k	「LIBERATED AI CHAT」,TypeScript 写的「自由化聊天客户端」
OBLITERATUS	6.9k	「OBLITERATE THE CHAINS THAT BIND YOU」,Python 写的模型越狱工具
ST3GG	1.6k	HTML 写的「all-in-one steganography suite」,隐写术套件
T3MP3ST	1.6k(本次)	多 Agent 红队平台

这条主线铺得很清楚:2024 年底做越狱 prompt 库(CL4R1T4S)→ 2025 年做「无害化」越狱 prompt 库(L1B3RT4S)→ 2025 下半年做自由化聊天客户端与越狱工具(G0DM0D3 / OBLITERATUS)→ 2026 上半年做隐写工具(ST3GG)→ 2026 年中做企业级红队平台(T3MP3ST)。

T3MP3ST 的 FEATURES.md 还有一个细节值得注意:Pliny Specials(LEVIATHAN / SPHINX / GORGON / CERBERUS / TYPHON / GRIFFIN / SIMURGH / HYDRA / ARACHNE 共 9 个)是 RETIRED 的。文档明写:

「The /api/pliny/* routes and the pliny_* MCP tools no longer exist in the codebase… Only security_recon survives as a live MCP tool.」

这一刀是项目从「Pliny 个人作品」向「平台产品」过渡的明显信号——作者主动把过去两年积累的「品牌化工具集」裁掉,换上 MITRE ATT&CK 对齐的 8-Operator 框架。这是 T3MP3ST 比 elder-plinius 此前所有仓库更接近「商业可用」的一个标志。

接下来看什么

四条可验证的观察线,前两条跟项目自身的产品节奏相关,后两条跟外部生态与企业采用相关:

A. 8-Operator 蜂群何时放出端到端 benchmark——关注 FEATURES.md 中 5 个 experimental Operator 状态变化;从 [~] experimental 升到 [x] implemented 的那一刻,意味着蜂群至少有一条端到端 exploit 链路被 benchmark。这是项目最大的未兑现承诺,也是判断 T3MP3ST 是否真的从「单 Agent 工具集」升级为「多 Agent 平台」的唯一硬指标。

B. 第三方独立复现 XBEN 数字——关注其他安全团队是否在 GitHub 公开「T3MP3ST 复跑 XBEN」的仓库与分数,以及 XBEN / Cybench 官方团队是否对「工具跑分 vs 模型跑分」这一区分发声。

C. 离线 / Air-gap 真实能力——关注 Llama 3 70B / DeepSeek R1 / GLM 4.7 这类本地模型在 T3MP3ST 上的实测分数;README 只给「支持离线」,没给「离线 vs 在线差距」的对照表。如果离线 70B 模型能跑出 XBEN 60%+,这件事会变成「中小安全团队在断网环境也能部署企业级红队工具」的产品化信号。

D. Pliny Specials 与品牌去个人化的延续性——关注 fork 与私有分支里是否出现 LEVIATHAN / SPHINX 等 9 个老名字的复活;关注 Pliny 个人 X 账号(@elder_plinius)是否仍把 T3MP3ST 与 GODMODE 品牌挂钩;AGPL-3.0 是否限制企业使用——大厂法务是否会以「AGPL 沾染 + 越狱历史」为由把 T3MP3ST 排除在采购名单之外。

扩展资料:8-Operator 与 MITRE ATT&CK 战术映射完整表

Operator	ATT&CK Tactic	ATT&CK ID	典型工具	状态
RECON	Reconnaissance	TA0043	whois_lookup, dns_lookup, subdomain_enum	Stable
SCANNER	Discovery	TA0007	port_scan, dir_bruteforce, technology_detect	Stable
EXPLOITER	Initial Access	TA0001 / TA0002	xss_scan, sqli_scan, exploit_search	Experimental
INFILTRATOR	Lateral Movement	TA0008 / TA0004	password_spray, hash_crack	Experimental
EXFILTRATOR	Collection / Exfiltration	TA0009 / TA0010	base64_decode, HTTP request 复用	Experimental
GHOST	Persistence	TA0003 / TA0005	(post-ex drivers 需 T3MP3ST_FULL_ARSENAL)	Experimental
COORDINATOR	Command and Control	TA0011	EventEmitter 编排	Experimental
ANALYST	(reporting)	—	CVSS scoring, evidence vault	Stable

扩展资料:T3MP3ST 与同类工具对比

工具	形态	LLM 来源	多 Agent	离线支持	许可证
T3MP3ST	npm 包 + War Room Web UI	本地 Agent 或 API key	8 Operator(stable × 3 + experimental × 5)	是(Ollama/LM Studio/vLLM)	AGPL-3.0
PentestGPT	SaaS / 论文 prototype	OpenAI API	否	否	MIT
Reaper AI	企业 SaaS	自托管或云端	部分	否	商业
Cybench 原始 paper	research code	任意	否	否	Apache-2.0
XBEN(XBOW)	题目集 + 自家工具	自家模型	否	否	商业

T3MP3ST 在「离线 + 多 Agent + 开源 + keyless」这个组合上没有直接竞品;PentestGPT 走学术 SaaS 路径,Reaper AI 走商业平台路径,这两条路径都不做「复用本地 Coding Agent」这个抽象层。T3MP3ST 占据的是一个被绕过两年的空格子——offensive-security 工具链此前默认假设「用户必须主动申请并管理 API key」,T3MP3ST 把这个假设推翻了。