最新动态
首页 > 最新动态 > 同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

2026-11-09

本篇体育资讯由江南体育整理:

我先把账单摆出来。

在GLM-5.

3-Flash上, Pi解决一个任务平均花$0.

29,OpenCode花$3.

35。

差了11.

7倍 。

换到Claude Code,它的单次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。

但得分呢?

在447个SWE-bench Verified任务上, Claude Code和mini-SWE-agent的差距只有两个百分点 ,研究者判定为统计等价。

mini-SWE-agent是什么东西?

大约100行Python,只暴露一个bash工具,没有上下文压缩机制 。

也就是说,你为一个“大厂框架”付的钱,买到的主要是 开场白 ,不是能力。

Harness Leaderboard的数据更直白。

28,849次试验、9个harness、3个开放模型, 换一个harness,每100个任务里有29.

1个结果会翻转;

而同一个harness重跑一遍,也有23.

about image

4个任务会翻转 。

你看到的“得分差”,有将近四分之一是噪声。

但 成本差是实打实的,它不随重跑而消失 。

账单差在哪里:开场白吃掉了一半的钱 成本差距最反直觉的地方,在于 它不是发生在“干活”的过程中,而是发生在你还没开始干活之前 。

同一个模型、同一批任务、同一张价格表,初始固定上下文的长度: Claude Code 16,581 token,OpenCode 7,025 token,mini-SWE-agent 829 token 。

Claude Code的开场白是mini-SWE-agent的 20倍 。

这16,581个token里装了什么?

系统提示词、CLAUDE.

md、自动记忆、MCP工具名和描述、skill定义,全部在 你输入第一句话之前 就已经加载进去了。

这些东西在“构建一个复杂的Agent工作流”时是资产,但在“跑一个边界清晰的编码任务”时是 纯开销 。

你每次调用都在为这16,581个token付钱,无论任务需不需要它们。

Pi的聪明之处不在于它的代码更少,在于它的开场白更克制。

它以49.

4%的解决率、$0.

29的每任务成本,和mini-swe-agent的51.

4%、$0.

53 统计打平,但便宜了大约45% 。

mini-swe-agent用极简的上下文换来了低开销,Pi在低开销的基础上把解决率追到了统计等价的水平。

“便宜”和“能用”在这两个框架上同时成立。

Codex的21个点:不是框架弱,是“咬合”出了问题 Harness Leaderboard里最值得盯的单个案例,是Codex。

同一个Codex,在DeepSeek-V4.

1-Flash上得68.

8%,在GLM-5.

3-Flash上只有47.

4%,相差21个百分点 。

它在DeepSeek上能挤进第一梯队,在GLM上直接掉到中下游。

这不是“Codex好不好”的问题,是 “Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。

8090 Labs在另一组测试里也观察到了同样的现象: GLM-5.

3-Flash在最好的harness里通过率59%,在最差的harness(Codex)里只有24%,差了35个点 ;

而GPT-5.

6 Sol无论换哪个harness,得分只波动6个点。

有些模型“挑框架”,有些模型“不挑”。

GLM是前者,Sol是后者。

对普通开发者的直接含义:你选了一个模型,不代表你选了一个“在所有框架里都一样表现”的模型。

同一个权重,在不同的Agent外壳里,可能是两个完全不同的产品。

Harness Leaderboard的结论写得很干脆: “第一名会随模型变化。

” GLM上mini-swe-agent以62.

1%夺冠,Claude Code 60.

7%并列第四;

换到DeepSeek,Hermes Agent以71.

3%领先,mini-swe-agent 70.

7%紧随其后。

没有“最强框架”,只有“和这个模型咬合最好的框架”。

大厂框架不便宜,也不一定更好:一句被数据反复验证的话 山东大学那组研究的总结,可能是整份榜单里最值钱的一句话: “A vendor’s own harness on its own model buys no score advantage.

” 厂商自己的harness跑自己的模型,买不到分数优势。

这句话不是修辞。

8090 Labs的测试里, 五个harness里有三个来自模型厂商(Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek),没有一个模型在自己的“主场框架”里拿到最好成绩 。

Claude Fable 5.

1在Claude Code里通过率41%,在Codex里是61%, 差了20个点 ;

它在Claude Cod

更多体育热点,关注江南体育。

伊朗把底牌拍到莫斯科桌上,海湾地区多个美军空军基地,美大型军机刚起飞,就在导弹拦截火力范围内!

英超首球来了!维尔茨1球1助攻全场最佳,伊劳拉要尽快激活巴尔科拉

联系我们
留言

Copyright © 江南体育 (JN SPORTS)官方网站 - 中文首页 版权所有 网站地图

WeChat
WeChat

留言框-

江南体育 (JN SPORTS)官方网站 - 中文首页

18775933182