Drone-Bench 测模型编写无人机跟飞代码

2026 年 7 月 24 日，Anthropic 与 Andon Labs 公布 Drone-Bench，用一台当时零售价 129 美元的 DJI Tello EDU 承载室内任务，并把模型需要编写的重建、定位、导航、检测和跟随代码拆成五项独立评测。

Andon 对来自 3 家开发者的 15 个模型进行测试；每个模型执行 10 次模拟运行，每次运行内还可根据分数连续迭代 10 个提交。检测与跟随已经出现平均成绩跨过参考基线的模型，但最佳模型仍没有跨过 Reconstruct 基线。Andon 将五项分项跨线概率相乘后得到 0%；这是一项联合概率估算，并非把模型自己的上游产物完整串行运行后的实测成功率。

这套结果的外推范围很窄。实验只有一个办公室平面图，飞行速度较慢，人员数量有限；没有测试室外、大型人群、天气、强光、通信干扰或专业级飞控。分项评测还会向下游任务提供干净的上游产物，因此 Navigate 的分数并不承担模型自身错误重建造成的全部后果。

对机器人开发者，这是一套寻找失效点的任务分解框架；对模型厂商，它提醒“最佳一次能做到”与“典型一次可靠做到”仍隔着明显距离；对安全与政策团队，低价硬件、身份检测和自动跟随的组合意味着，人工监督不能只由效率压力决定是否移除。

五道关卡如何拼成一次跟飞

Drone-Bench 的目标是让无人机在室内办公室找到一名由参考照片指定的人员，并持续跟随。模型并非直接学习电机级控制策略，而是在现成软件与硬件接口上编写程序、调用算法、看评分并修订实现。这更接近“代码 Agent 为机器人搭控制栈”，而不是训练一个从像素直接输出旋翼动作的端到端策略。

Tello EDU 适合承载这种实验，原因是接口足够开放、硬件足够便宜。Ryze Robotics 的产品页显示，它支持 SDK 2.0、相机视频流、目标跟踪和三维重建类应用；DJI SDK 的 Tello-Python 仓库则给出接收视频、读取飞行状态、发送动作命令和基于姿态识别控制飞行的示例。Anthropic 在脚注中写明本次使用的是 DJI Tello EDU，当时零售价为 129 美元。这个价格说明现成硬件的进入门槛低，却不能代表部署一套安全、可靠、合规的无人机系统只需 129 美元。

子任务	模型需要交付什么	Andon 参考基线	链条中的作用
Reconstruct	从办公室视频恢复 3D 场景、相机位姿与 2D 障碍图	82.2%	为定位与路径规划提供地图
Localize	把当前相机画面匹配到地图坐标	84.0%	让无人机知道自身位置
Navigate	规划跨房间路径，并在噪声控制下持续纠偏	92.0%	绕开障碍并抵达目标房间
Detect	用参考人脸照片在视频中返回目标人物框	72.1%	区分目标与其他人员
Follow	根据人物框调整飞行，保持居中和稳定距离	67.4%	在目标移动时持续跟随

这五项不是五个互不相干的榜单。真实链路中，Reconstruct 产生地图，Localize 依赖地图给出位姿，Navigate 再依赖前两者规划并纠偏；Detect 的人物框则成为 Follow 的控制输入。最上游一个错误门洞，经过后续步骤会变成一条撞墙路径。分解任务能指出进步发生在哪里，也会暂时遮住错误相乘后的真实损失。

分项成绩不能替代链式成功

Andon 为每个模型执行 10 次 run。在单次 run 中，Agent 最多提交 10 次实现，每次都能看到分数并继续修改，最终取该 run 的最佳提交。Reconstruct 还使用隐藏的 39 个航点、741 对路径评估障碍图是否可导航，以降低模型只针对反馈样例过拟合的空间。

这种设置同时测了两种能力：一是模型能否偶尔找到有效方案，二是它在反复尝试后能否稳定接近基线。Anthropic 的归纳是，跑 10 次模拟时，前沿模型在五项中的四项至少出现过一次达到人类—AI 团队基线的结果；但最佳模型 Fable 5 的平均表现只在五项中的三项达到基线。Andon 对“最佳提交”与“典型提交”的比较给出约 6 个月的可靠性滞后：今天平均一次能达到的位置，约等于半年前最佳一次已经到过的位置。

更严格的联合概率揭示了另一层落差。Andon 计算，如果同一次典型运行必须依次跨过已经完成的任务，最好的模型把前四项合并估算也只有约 6%；由于所有模型在 Reconstruct 都没有一次真正越过基线，五项跨线概率的乘积仍是 0%。这里的“零”是按该 benchmark 的基线与分项概率计算，不是完整串行评测结果，也不等于模型完全无法让无人机飞行。

评测中的分数反馈也是一种特权。Andon 报告，Fable 5 的首次提交只有 2%跨线，而每次 run 取最佳提交后升到 52%；所有模型从首次到最佳提交的分数平均提高 182%，Fable 5 的提升达到 312%。现实部署通常没有一个实时告诉系统“这张地图得分多少”的裁判。若没有高密度、可验证的反馈，Agent 能否识别自己把墙当成门，仍是未回答的问题。

实机视频里的进步与断点

Anthropic 把 Fable 5 的代码放回真实 Tello EDU 演示。它在 Detect 和 Follow 上表现出明确进步：无人机能够比参考算法更贴近指定人员，Andon 展示的平均跟随距离从参考方案的 1.21 米降到 Fable 5 的 0.87 米。这证明模型生成的检测与控制代码在受控环境中产生了可观察效果，不只是模拟器里的抽象分数。

同一组视频也给出了不能省略的失败：Fable 5 的重建把墙面误判成门洞，无人机自信地向错误方向飞去，无法自主完成跨房间导航。检测和跟随表现更好，并没有修复上游地图；当错误进入定位和导航，局部能力不会自动相加成完整任务能力。

因此，这次实机演示最多支持三个窄结论。其一，模型能通过现成 SDK 为低成本无人机编写有效的视觉检测与跟随代码。其二，在单一办公室、慢速和知情同意的实验人员范围内，最佳模型的局部表现可超过研究团队的参考算法。其三，它没有证明通用自主飞行，也没有证明可在开放环境中可靠监视人员。Anthropic 明确说明，被跟随者知情同意并且是实验团队成员；室外、人群和更复杂环境没有被测。

Reconstruction 为何是硬断点

检测任务有较清晰的输入和目标：参考照片、连续视频帧、人物框以及可计算的匹配分数。跟随任务也能把“目标是否位于画面中央、距离是否合适、是否发生碰撞”转成反馈。相比之下，Reconstruct 必须从有限视频中恢复几何结构、相机位姿和可用于规划的障碍图；小的尺度、视角或纹理误差，都可能在切片后制造一条不存在的通道。

Fable 5 在局部分析上已经出现有意义的行为。Anthropic 披露，它曾利用地砖缝的消失点估计相机倾角，误差控制在真实值的 4 度以内；另一次还自行搭建 2D 顶视环境，以便在提交前测试 Follow 实现。这些行为说明模型不只是在拼接已有代码，也会为当前场景做测量和局部实验。

但“会分析”与“地图足够可信”不是同一件事。一个角度估计接近真实值，无法保证所有房间边界、遮挡区域和通道宽度都正确。机器人系统的安全性往往由最脆弱的上游表征决定，而不是由最亮眼的局部技巧决定。Drone-Bench 把这点显示得很直观：Detect 与 Follow 越强，越容易让人忽略决定无人机是否撞墙的地图仍未过线。

隔离评分抬高了地板，也压住了天花板

为了比较各项能力，Drone-Bench 在评测每个子任务时，会提供参考实现生成的干净上游输入。例如测试 Navigate 时，模型拿到的不是自己在 Reconstruct 中生成的坏地图，而是可用障碍图和定位函数。这样做能防止所有后续分数都被重建任务拖成零，并帮助研究者看出模型究竟不会规划，还是只因地图错误而失败。

代价是分项分数不等于端到端可靠性。干净输入抬高了后续任务的最低表现，模型自己的错误不会完整传递；同时，这也可能压住某些创新方案的收益，因为即使模型找到更好的定位方法，Navigate 仍接收统一的参考输入。Andon 因而把“使用自身上游产物连续运行五项”列为后续工作，而不是声称当前 benchmark 已经测完真实系统能力。

参考基线本身也需要准确理解。它不是未经辅助的人类能力下限，也不是专业机器人团队能达到的上限，而是 Andon 的 AI 专家与 coding agents 使用现代工具共同写出的演示代码。模型跨线表示它在这一特定任务、评分和资源设置下达到这套现实参考方案，不表示超过所有人类飞手、专业视觉系统或工业无人机方案。

下一次跨线要看什么证据

最直接的里程碑是 Reconstruct。Andon 当前基线为 82.2%，而页面明确写着尚无模型越过；下一代模型若只在一次 run 中跨线，说明能力前沿向前移动，但还不能说明可靠性问题解决。更强的证据应是平均 run 也跨线，并在不同办公室、光照和视频采集路径下保持成绩。

其次应撤掉评测脚手架。取消每次提交后的精确分数，只返回视频和运行产物，观察模型能否自行发现错误；再让五项任务真正串行，强制后续代码消费模型自己的地图、位姿和检测框。如果端到端成功率能从 0%稳定抬升，才表示局部能力开始合成为系统能力。

最后要扩大环境与治理测试。更高速度、不同机型、动态障碍、室外光照和多人场景会改变感知与控制难度；身份照片的来源是否合法、被跟随者是否同意、谁能启动任务、发生误识别后如何停止，也必须进入评测协议。只有技术可靠性与使用约束同时可验证，Drone-Bench 才能从能力预警器走向部署决策工具。