Frontier Harness v1.1 全部题目跑完了,领先的还是 Codex 和 Pi,Maka 排名第七,和 ZCode、KimiCode、OpenCode 在同一水平。
作为开源大家共创的项目,TS 版的 Maka 这个成绩还算满意~
我们会在下一个版本的 Rust 版继续努力和改进!欢迎大家来围观 Rust 版本,欢迎点个星星呀~
21 款 Harness,5 个不同模型,62 个任务,而且重复四次!
这是有史以来最大的 Harness 大横测了,数据还在持续发酵中~
We’re spending up to 100B tokens across 26,040 agent runs to answer one question: when you switch models, should you switch harnesses too?
Our v1.0 FrontierHarness leaderboard ranked harnesses on a single model.
V1.1 expands it to 21 harnesses × 5 models × 62 tasks × 4 attempts, 72x the size of v1.0.
Results are coming in live. Link below🧵
补充一点,GPT 6.1 Sol 在 Agent Arena(模型匿名打分)的 Code 领域,是表现第一名的模型。
甚至高于 Astra。
也高于 Fable 5.1 和 Opus 5.5。
但 Opus 5.5 依然更全面,整体而言是第一名,在 Chat、Work 等工作也表现的更好,更灵活。












