Claude не обязательно нужен Claude Code 
В Berkeley и Arena прогнали 7 моделей через Claude Code, Codex и Pi. Самое интересное: смена harness часто заметнее меняет цену, чем результат.
Например, Fable 5 на SWE-bench Lite:
- Claude Code: 97,8% успешных попыток, $1,33 за попытку.
- Pi: 96,7%, $0,67.
Почти вдвое дороже ради +1,1%. Причём шагов примерно одинаково: 15,3 против 15,4. А вот стартовый контекст у Claude Code в среднем больше в 10 раз.
Pi с четырьмя тулзами вполне конкурирует с более навороченными вариантами. И привязка к провайдеру не всегда помогает: Opus 4.8 в Codex решил больше задач, чем в Claude Code.
Такой вот налог на harness - harnesstax.github.io
Это не повод срочно сносить Claude Code: в тесте по 30 задач из двух бенчмарков, а стоимость считали по API, не по подпискам.
Но если платите за токены, попробовать ту же модель в другом harness может быть полезнее, чем снова переключаться на модель подороже.