[NS :
Runta最近发布了一个CodingAgentHarness评测,名字叫FrontierHarnessEval。他们让同一个KimiK3跑30道题,每轮只更换AgentHarness。公开结果里,通过率从50.0%到66.7%,每通过一道题的成本从1.05美元到18.34美元。看完发布文章、任务和逐题结果,差距比我
leemysw] 关于 Harnes 测评的一些尝试 , 用 NXS 跑了一遍 FrontierHarness, 30 题通过 22 题,失败的题目花掉了一半成本!Runta最近发布了一个CodingAgentHarness评测,名字叫FrontierHarnessEval。他们让同一个KimiK3跑30道题,每轮只更换AgentHarness。公开结果里,通过率从50.0%到66.7%,每通过一道题的成本从1.05美元到18.34美元。看完发布文章、任务和逐题结果,差距比我