10 月 17 日，一篇《实测 8 款 Agent 框架：谁最能驾驭 DeepSeek V4 Flash》的公众号文章在圈内刷屏。数据是真的，出处是真的，结论也有价值。但它漏掉了三样东西：原始实验里那些带星号的限定条件、这份榜单的统计效力、以及八天之后同一个人自己又跑了一遍、名次全变了。

我把原始报告、后续数据、三篇同行评议的论文和 DeepSeek 的价目表放在一起重新算了一遍。这篇是结果。

一、先说这条"实测"是谁做的，以及它为什么值得看

刷屏的文出自公众号「健述有道」，作者署名 Terry，发布时间 2026 年 10 月 17 日。它的原始信源是 Composio 在 2026 年 8 月 11 日发布的报告《Finding the Best Harness for DeepSeek V4 Flash》，作者 Sunil Kumar Dash。中文那篇是编译加改写，主要事实没走样，但把原始报告里几处关键限定条件删掉了——这件事我们后面逐条对。

Composio 是什么来路，直接决定了这份榜单能信到什么程度，所以得摆清楚：它是一家做 Agent 工具集成层的公司，主打「一个托管 MCP 端点接 1500+ 应用」。这次测试里，八款 harness 用的是同一套 Composio 托管 MCP 工具。这既是公平性的保证（工具层被固定了），也是一个天然的利益相关：任何 harness 在这套工具上的表现，都会被工具生态的形态放大或削弱。Composio 卖的就是这一层。

这不是说数据有问题，是说这份榜单衡量的是「8 款 harness 在 Composio MCP 这套工具链上的表现」，不等于「8 款 harness 的一般水平」。这个区别，中文那篇没提。

二、测试设计：这部分值得抄，是全文最硬的地方

先把方法论摊开。30 个高难度多应用工作流，每题上限 900 秒，全部走同一套托管 MCP。任务横跨 Airtable、Gmail、Google Calendar、Google Sheets、GitHub、Slack、PostHog，要求产出可被独立验证的终态和答案。

评分方式是我最认可的一环：

• 不用 LLM 当裁判。每款 harness 拿到独立的隔离环境（唯一 run tag），跑完后由程序化验证器直接读取各 SaaS 应用的真实状态。
• 埋诱饵。环境里除了真目标数据，还有同名文件、几乎一样的 key、毫不相关的记录——专抓「动作过猛」的 Agent。
• 二值判定，没有中间分。六项检查全过才算成功：该找到的记录是否全部找到、计算与上报数值是否精确、每个要求的动作是否真正执行、诱饵是否原封未动、最终回答是否符合规定格式、是否真的用了指定服务商的工具。

严到什么程度：有个 Agent 把 Google Sheets 里每个要求修改的单元格都改对了，但最终回答里报错了行号——12 项检查过了 11 项，整体判负。另一个任务里，某 Agent 用对了 PostHog 工具、返回了合法 JSON，但它数出 133 个事件，验证器独立数出来是 148——同样判负。

苛刻吗？生产环境就是这么算账的。改对了记录但报错了结果，或者完成任务的同时污染了无关数据，在真实业务里都叫事故。

这套设计（程序化验证 + 诱饵 + 二值判定 + 隔离环境）如果你要做自己的评测，直接照抄，比抄任何榜单名次都值钱。

三、成绩单：原样复述，并补回被删掉的星号

数据：Composio，2026-08-11。240 次运行，129 次成功，整体通过率 53.8%；30 个工作流里只有 6 个被所有 harness 全部攻克。token 列是 harness 在 Agent 循环中处理的运行时上下文规模，与用于计费的输入/输出 token 分开统计，且各家口径不一，只能当量级参考。

三个星号，中文那篇删了两个半：

• Pi 的 66.7% 和 $0.028 都带着双重折扣。它用的是 high 而非统一的 max 推理强度，30 个任务里有 24 个走 DeepSeek 官方 API，而不是其余各家统一用的 OpenRouter。换句话说：推理更省、链路更短、单价可能更低。这组数字不能全部归因于 harness 设计。中文那篇提了"推理设置不同、双提供商"，但没给"24/30 走官方 API"这个量级。
• Prime 的 62.5% 分母是 24 不是 30。有 6 次运行无法评分被剔除：其中 2 次是验证器面对 Prime 的超大会话（最高 350 万 token、33 次工具调用）直接超时，另外 4 次没留下记录。也就是说，Prime 有两道题是"把自己的裁判拖垮了"。这本身是个有意思的负面信号：会话规模失控的代价，不只在账单上。
• Hermes 的 $0.056 是低估。它有两个任务超时且没保存最终用量数据，真实成本高于表中数值，所以是 +。

四、我给这张榜算了置信区间，然后事情变得有意思了

这是中文那篇完全没做、但决定这份榜单能不能"当结论用"的一步。

30 个任务，意味着答对一题 = 3.33 个百分点。样本这么小的时候，两个 harness 差 3 题（10 个百分点），几乎没法排除是运气。我按 Wilson 区间给每家算了 95% 置信区间：

Wilson score interval，z=1.96。八家的区间几乎完全重叠。

结论很直接：这八家彼此之间，在统计上分不出高下。我又做了两次 Fisher 精确检验：

• 第一名 Pi（20/30）vs 垫底 OpenCode（14/30），也就是那张表上最大的 20 个百分点：p = 0.19。
• Pi（20/30）vs OMP（17/30）：p = 0.60。

都没过 0.05。那张"20 个点差距"的榜，在统计上等同一个"看不出来差别"。

还有更不利的一层。Composio 那篇 Kimi K3 的报告里泄露了难度分布：8 款 harness 都通过了同样的 12 个简单任务，也都挂在了同样的 3 个最难题上。25 个任务里，真正能区分 harness 的只有中间那 10 个。有效样本量不是 30，是 10。在 10 个任务上算 66.7% 对 46.7%，置信区间宽到没法看。

所以这份榜单能支撑的结论只有一条：换 harness 确实会造成肉眼可见的差异。
它支撑不了的结论是：谁第一、谁垫底、谁比谁强 13 个点。

顺带说一句公道话——原文作者自己也没敢说死。他写的是"No harness had the best result for every measure"（没有哪款在所有指标上都最好），并且明确把 OMP 称作"可比口径下的最高通过率"。把"Pi 第一"做成标题的，是中文二次传播。

五、换一个模型，名次就洗牌了

这段是中文那篇完全没有的。Composio 在做完 V4 Flash 之后，又在同一套 30 个任务上跑了另外两个模型，最近一次更新是 2026 年 10 月 15–16 日。把三次结果并排放：

口径提示：三轮的模型不同（Kimi K3 / V4 Flash / V4 Pro），任务数不同（25 / 30 / 29），K3 轮的推理强度统一为 max，V4 Flash 轮 Pi 用的是 high。所以这是名次稳定性的观察，不是严格的可比对照。

能读出三件事：

1. 三轮三个不同的冠军。K3 轮 OMP 第一（原版 Pi 只排并列第 5），V4 Flash 轮反了过来，原版 Pi 第一而 OMP 第三。V4 Pro 轮冠军换成了 Command Code。OMP 本来就是从 Pi 分叉出来的 Coding 增强版——同一个底座，两个方向，在不同模型上各有胜负。
2. Claude Code 一次比一次低。76% → 53.3% → 50%（垫底）。它在这套"跨 SaaS 应用做业务流程"的任务上，唯一的强项是快（122.7s 中位耗时全场第一）。而它的成本是全场最高。这个市场印象（"Claude Code 是最强 harness"）在这类任务上不成立——它是为"在你自己仓库里改代码"调的。
3. Hermes 是三次里波动最大的：80%（第 3）→ 50%（第 7）→ 56.7%（第 2）。它也是全场最省 token 的（192k/任务，不到 Prime 的七分之一）。

还有一组对照数据可以佐证"名次不可迁移"：Composio 自己的榜上，GPT-6 Astra（10 月 15 日）的前三分别是 Cline 79.3%、Codex / Hermes / Command Code 各 75.9%，Claude Code 72.4%，OpenCode 和 Pi 并列 69.0%。Pi 在 V4 Flash 上是第一，在 GPT-6 Astra 上是并列倒数第一。

如果你想自己去看这些数字，Composio 把它们做成了公开的活榜（composio.dev/bench），模型页和 harness 页交叉可查，比任何二手文章都可靠。

六、三篇论文把这件事量化了：harness 方差是模型方差的 7.8 倍

上面这些都是"同一家公司反复测"。要判断这是不是普遍现象，得看独立研究。2026 年上半年出了三篇高度相关的论文，结论方向出奇一致：

1. 《Stop Comparing LLM Agents Without Disclosing the Harness》（arXiv:2605.23950，5 月）

立场论文，提出"绑定约束假说"（Binding Constraint Thesis）：在长时程任务上，性能方差主要由 harness 配置而非模型选择决定。它做了一个 3 模型 × 3 harness × 100 条 SWE-bench Verified 的对照实验，报告的结果是：

• harness 引起的方差 18.48，模型引起的方差 2.37（单位 pp²），比值 7.80 倍；
• 固定模型、只换 harness：pass@1 变化 8.5 到 13.0 个百分点；固定 harness、只换模型：只变 2.5 到 5.0 个百分点；
• 9 组模型对/harness 对的比较里，6 组在换 harness 后排名反转。

说明：这几个数字来自论文正文与二手摘要（如 agihunt 的整理），论文摘要本身只给了定性结论。我未逐页核对原 PDF，标出来供你复核。

2. 《Finding the Right Fit: Model-Harness Interactions across Agent Tasks》（arXiv:2610.00917，10 月 1 日）

这一篇的规模和这次 Composio 的测试最像：66 个配置，4 个可配置 harness（OpenHands、DeepSeek Harness、Pi、openJiuwen）× 5 个模型，跑 TUA-Bench、ALE-CLI、Terminal-Bench 4。摘要里的几个事实：

• 在 Terminal-Bench 4 上， Claude 在 OpenHands 里领先 GPT 7.94 分，在 Pi 里落后 GPT 30.16 分。同一对模型，名次反转，幅度 38 分。
• 5 个模型里有 4 个，"最佳 harness"随 benchmark 变化。也就是说，不存在通用的最佳骨架。
• 模型自家出的 harness 不一定是它的最优解；贵的也不一定分高——在 Terminal-Bench 4 上，GPT 在 Pi 下的分数高于在 DeepSeek Harness 下，而单任务成本不到后者的四分之一。

3. 《The Scaffold Effect in Coding Agents》（arXiv:2607.22585，6 月 8 日）

2 个模型（Qwen 3.6 Plus、MiniMax M2.5）× 3 个开源 harness（Goose、OpenCode、OpenHands-SDK）× Terminal-Bench Pro 的 50 题分层子集。这篇最有价值的发现跟"分数"无关：

• harness 选择能造成「每个解决任务的 token 消耗」相差最高 40 倍。
• 但通过率的组内差异只有 0 到 8 个百分点，95% 配对 bootstrap 区间基本都包含 0（除了最大的那一组）。
• 失败有"指纹"：Goose 大多挂在 REASON，OpenHands-SDK 挂在 VERIFY / MAX_TURNS，OpenCode 挂在 idle-loop / TIME——而且这个指纹跨模型复现，说明是 harness 层面的偏差，与模型基本无关。

4. 还有一篇，把"该信什么"讲得最清楚

《Agent Evaluation Reliability》（arXiv:2610.00651，9 月 30 日）用贝叶斯方差分解跑了 Holistic Agent Leaderboard 和 Harbor Index 上的 22 个 benchmark，结论一句话：

「模型 + 脚手架」这个固定组合，排名可靠度 0.935–0.994；单独看「模型」，可靠度只有 0.148–0.841。
而且多刷同类任务并不能完全修好这个问题。

翻译成人话：可以相信"Claude Code + Opus 5 比 Codex + GPT-6 强"，不要相信"Opus 5 比 GPT-6 强"。评测的单位是对，不是模型。

七、一个被省略的脚注：82.7 分是怎么跑出来的

这可能是整件事里最该被中文读者知道的一段。

DeepSeek V4 Flash 官方公布的 Agent 成绩很漂亮：Terminal-Bench 2.1 82.7、Toolathlon-Verified 70.3、Cybergym 76.7、NL2Repo 54.2。但官方 benchmark 表格下面有一行脚注：所有代码 Agent 任务都跑在 DeepSeek Harness 的「极简模式」上——只有常驻 bash 和 str_replace_editor 两个工具，没有网络搜索、技能库、子 Agent、规划模块。而这个 harness 在 8 月 11 日那份榜发布时还没公开，独立复现无从谈起。

第三方复现的结果：Artificial Analysis 用自己的脚手架独立跑 Terminal-Bench 2.1，得到 79，比官方的 82.7 低 3.7 分。

存疑说明：另有一批中文报道把「87.9 → 79」的落差记在 V4 Pro 名下（87.9 是 Pro 的官方分）。两种口径在信源里互相冲突，我按 Flash 的「82.7 / 79」记述，并把这条不一致留在这里，供你自行判断。

这件事的意义不在于"DeepSeek 造假"——它老老实实写了脚注。意义在于：一行"跑在自家极简 harness 上"的脚注，能让你少算 3.7 到 8 分。而 8 月 11 日那份榜里之所以没有 DeepSeek Harness，是因为它 8 月 13 日才发布（v0.1 开发者预览版，MIT 协议，Cordis 插件体系，"一切皆插件"，标准 / PTC / 极简 / 创造四种模式）。

它现在进榜了。在 10 月 16 日那轮 V4 Pro 的测试里，DeepSeek Harness 是 53.3%、388 秒/任务，和 Codex 并列第 5，落后冠军 Command Code 6.7 个百分点。官方 harness 并没有因为"亲儿子"身份拿到第一。这条数据比任何宣传稿都有说服力。

八、成本账：原文的 $0.028 已经过期了，而且不止涨一点

中文那篇把"单次成功成本差近 7 倍"当成核心卖点。问题是，那个 7 倍是用 8 月初的旧价目算的，而 DeepSeek 在 8 月 16 日 16:00 UTC 已经把整个 V4 系列改成了峰谷分时定价——那份报告发布后第 5 天。

峰时为 UTC 01:00–04:00 与 06:00–10:00，一天 24 小时里有 17 小时走谷时。V4-Pro 的缓存命中涨幅更大（谷时 6.1×、峰时 12.1×），这也是"部分场景涨价超 1100%"的来源。

三个直接后果：

1. 所有"$/成功任务"的绝对数字都要重算。按新价目，同一批 token 的账单会上浮 2.5 到 5 倍不等，具体取决于峰谷安排和缓存占比。原文的 $0.028 / $0.195 只有一个用途：记录当时的相对排序。
2. 相对排序也会被削弱，因为涨得最狠的是缓存命中。这一点非常关键：Claude Code 的缓存命中率只有 1.5%，Codex 约 70%，OMP 约 57%。缓存命中价涨 5 倍（Flash 峰时），而缓存未命中只涨 3.1 倍——高缓存占比的 harness 受到的惩罚更重。
3. 粗算一下：按"缓存 70%、未命中 30%"估 Codex 的综合涨幅约 4.4 倍，按"缓存 1.5%"估 Claude Code 约 3.1 倍。那么两者 "$/成功任务" 的差距会从 2.4 倍（0.195 / 0.081）收到 1.6–1.7 倍。这个估算是基于缓存占比做的，假设写在这里，你可以用自己的真实 token 结构替换。

成本这件事，最容易被误读的一点：Claude Code 和 DeepAgents 通过率完全一样（53.3%），但前者每次成功贵 4.3 倍。这个 4.3 倍不来自模型——两家跑的是同一个 DeepSeek V4 Flash。它来自骨架往上下文里塞了多少东西：系统提示词长度、工具定义数量、重试策略、缓存有没有用对。

参照系就在手边：Pi 的系统提示词约 1000 token、默认只有 4 个工具、不预装 MCP；OMP 的系统提示词约 30000 token、内置 LSP / DAP / 子 Agent。同一轮测试里，Pi 平均 559k token/任务，OMP 742k，Prime Agent 1.4M。harness 的设计哲学，直接写成了账单。

九、八款骨架都是谁的（中文读者最缺的一页）

十款里有七款开源，且多数是 2026 年才出现的项目——这个品类的迭代速度，快到"季度最佳"这种说法本身就没有意义。

关于 Prime Agent 那个 95.5%，需要单独提醒一句。中文那篇引用的"Prime Agent 搭配 Opus 5 在 ARC-AGI 3 上跑出 95.50%，大幅超越模型官方自家 harness"是真的——Prime Intellect 官方博客的原话，三次运行 95.0 / 95.2 / 95.5，Best@3 达 99.97%。但 ARC Prize 并没有独立验证这个分数：它是用自建 harness 跑出来的，进的是 ARC Prize 的"自报"榜单，跟官方已验证榜单上的最高分 30.2%（Claude Opus 5）不是同一个口径，不能直接比。中文那篇把这个前提整段省了。

十、所以到底该怎么选：一份可以直接照抄的评测配方

看完上面这些，如果只记住一句话，记这句：

把「模型 + harness」当成一个整体去测、去买、去汇报。别把"模型分数"和"harness 名次"分开相信。

落到操作上，Composio 这套方法值得抄，我按最小成本整理成七步：

1. 从自己的真实工作流里挑 20–30 条，且必须能程序化验证终态。不能验证的任务（"写得好不好""总结得全不全"）不要放进来，那类指标一上 LLM 当裁判，信噪比立刻崩。
2. 埋诱饵。同名文件、近似 key、不该动的记录、已作废的单据。真正区分 Agent 水平的不是"能不能做对"，是"会不会顺手把不该动的也动了"。
3. 二值判定，不要给中间分。11/12 项通过也是失败——生产环境就是这么算的。
4. 每题至少跑 3 次。一次运行的结果，在 30 题规模下跟抛硬币差别不大。要看的是方差，不是均值。
5. 报告四元组 + 区间：通过率、中位耗时、每次成功成本、平均 token，并附上置信区间。只看通过率会选出"最慢最贵那个"，只看成本会选出"最不准那个"。
6. 固定计价口径。写明计价日期、峰谷假设、缓存占比。这三项一变，$/成功任务能差 3 倍。
7. 结论写成「对」，不写成「榜」。输出的应该是一张 "(模型, harness) × (通过率, 耗时, 成本)" 的矩阵，而不是一列排名。

不同处境的人，我会这样给建议：

• 个人开发者 / 小团队：先试 Pi（最省 token，默认配置干净，MIT）和 OMP（要 LSP、调试、子 Agent 就上它）。这两个不绑模型、可自托管，试错成本最低。别一上来就买最贵的。
• 要稳定交付的团队：重点不是"哪个分高"，是失败恢复率。让候选 harness 在同一个任务上故意注入一个中途错误（工具报 500、返回格式错），看它能不能自己爬起来。这一项的区分度，比通过率大得多——三篇论文都指向同一个地方：能拿到"模型能用的失败反馈"的 harness 赢。
• 按 token 计费的平台方 / 大批量跑量的场景：harness 就是成本中心。缓存策略比模型选择更值钱，系统提示词长度比推理强度更值钱。1.5% 和 70% 的缓存命中率，在同一个模型上能差出 4 倍账单。
• 模型厂：官方跑分请把 harness 完整写进脚注——写"极简模式"但不开源那个极简模式，等于没写。

十一、最后：那份榜单真正说了什么

它说的是：骨架比脑子更影响你能不能把活干完。同一颗 DeepSeek V4 Flash，换一副骨架，通过率从 46.7% 到 66.7%，成本从 $0.028 到 $0.195，耗时从 122.7 秒到 272.4 秒。这个方向上的结论，被三篇独立论文、被 Composio 自己的后续三轮测试、被 DeepSeek 官方跑分与第三方复现的 3.7 分差距，反复证实。

它没有说的是：谁第一。因为 30 个任务算不出第一；因为换个模型名次就翻；因为连"最佳 harness"这个东西本身，在 5 个模型里有 4 个都会随 benchmark 变化。

刷屏的那篇把"差异存在"顺势讲成了"排名确定"。这是编译时最容易发生、也最容易被读者买单的一种失真。它给了一个特别爽的结论——"Pi 第一，Claude Code 贵四倍还一样准"——但这个结论的置信区间，宽到能装下整张榜单。

该信的是方法，不是名次。方法你随时可以自己跑一遍，名次下周就过期了。