本篇体育资讯由江南体育整理:
我先把账单摆出来。
在GLM-5.
3-Flash上, Pi解决一个任务平均花$0.
29,OpenCode花$3.
35。
差了11.
7倍 。
换到Claude Code,它的单次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。
但得分呢?
在447个SWE-bench Verified任务上, Claude Code和mini-SWE-agent的差距只有两个百分点 ,研究者判定为统计等价。
mini-SWE-agent是什么东西?
大约100行Python,只暴露一个bash工具,没有上下文压缩机制 。
也就是说,你为一个“大厂框架”付的钱,买到的主要是 开场白 ,不是能力。
Harness Leaderboard的数据更直白。
28,849次试验、9个harness、3个开放模型, 换一个harness,每100个任务里有29.
1个结果会翻转;
而同一个harness重跑一遍,也有23.
4个任务会翻转 。
你看到的“得分差”,有将近四分之一是噪声。
但 成本差是实打实的,它不随重跑而消失 。
账单差在哪里:开场白吃掉了一半的钱 成本差距最反直觉的地方,在于 它不是发生在“干活”的过程中,而是发生在你还没开始干活之前 。
同一个模型、同一批任务、同一张价格表,初始固定上下文的长度: Claude Code 16,581 token,OpenCode 7,025 token,mini-SWE-agent 829 token 。
Claude Code的开场白是mini-SWE-agent的 20倍 。
这16,581个token里装了什么?
系统提示词、CLAUDE.
md、自动记忆、MCP工具名和描述、skill定义,全部在 你输入第一句话之前 就已经加载进去了。
这些东西在“构建一个复杂的Agent工作流”时是资产,但在“跑一个边界清晰的编码任务”时是 纯开销 。
你每次调用都在为这16,581个token付钱,无论任务需不需要它们。
Pi的聪明之处不在于它的代码更少,在于它的开场白更克制。
它以49.
4%的解决率、$0.
29的每任务成本,和mini-swe-agent的51.
4%、$0.
53 统计打平,但便宜了大约45% 。
mini-swe-agent用极简的上下文换来了低开销,Pi在低开销的基础上把解决率追到了统计等价的水平。
“便宜”和“能用”在这两个框架上同时成立。
Codex的21个点:不是框架弱,是“咬合”出了问题 Harness Leaderboard里最值得盯的单个案例,是Codex。
同一个Codex,在DeepSeek-V4.
1-Flash上得68.
8%,在GLM-5.
3-Flash上只有47.
4%,相差21个百分点 。
它在DeepSeek上能挤进第一梯队,在GLM上直接掉到中下游。
这不是“Codex好不好”的问题,是 “Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。
8090 Labs在另一组测试里也观察到了同样的现象: GLM-5.
3-Flash在最好的harness里通过率59%,在最差的harness(Codex)里只有24%,差了35个点 ;
而GPT-5.
6 Sol无论换哪个harness,得分只波动6个点。
有些模型“挑框架”,有些模型“不挑”。
GLM是前者,Sol是后者。
对普通开发者的直接含义:你选了一个模型,不代表你选了一个“在所有框架里都一样表现”的模型。
同一个权重,在不同的Agent外壳里,可能是两个完全不同的产品。
Harness Leaderboard的结论写得很干脆: “第一名会随模型变化。
” GLM上mini-swe-agent以62.
1%夺冠,Claude Code 60.
7%并列第四;
换到DeepSeek,Hermes Agent以71.
3%领先,mini-swe-agent 70.
7%紧随其后。
没有“最强框架”,只有“和这个模型咬合最好的框架”。
大厂框架不便宜,也不一定更好:一句被数据反复验证的话 山东大学那组研究的总结,可能是整份榜单里最值钱的一句话: “A vendor’s own harness on its own model buys no score advantage.
” 厂商自己的harness跑自己的模型,买不到分数优势。
这句话不是修辞。
8090 Labs的测试里, 五个harness里有三个来自模型厂商(Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek),没有一个模型在自己的“主场框架”里拿到最好成绩 。
Claude Fable 5.
1在Claude Code里通过率41%,在Codex里是61%, 差了20个点 ;
它在Claude Cod
更多体育热点,关注江南体育。
Copyright © 江南体育 (JN SPORTS)官方网站 - 中文首页 版权所有 网站地图
留言框-