Идея бенчмарка простая и потому полезная: взять не абстрактные вопросы, а реальные операции, которые делает DevOps-инженер в облаке, и проверить, справится ли агент. Версия 1.0 включает 45 задач в AWS — починить упавший сервис, удалить ресурсы, ограничить права, выкатить обновление, вывести проект из эксплуатации. Задачи составляли инженеры с опытом, а не авторы моделей.
Результаты отрезвляющие. Лучший результат — 60% у Claude Fable 5.1, у GPT-6 Astra — 53%. Ни одна модель не решила все задачи.
Почему они падают
Самое интересное — разбор ошибок. Около 80% провалов связаны с рассуждением, а не с незнанием сервисов: агент неправильно оценивает объём задачи, проверяет не все связанные сервисы или останавливается слишком рано, решив, что готово. Оставшиеся 20% — неверные действия, и часть из них имеет необратимые последствия для инфраструктуры.
Это важное уточнение к разговору «ИИ заменит сисадминов». Мешает не отсутствие документации по AWS, а неспособность держать в голове границы задачи и проверять последствия.
Как устроено
Задачи прогоняются одинаково в реальном AWS и в эмуляторе, чтобы результаты не зависели от бюджета на облако. Проект под Apache 2.0, команда — под руководством Анга Чена из Мичиганского университета; расширения для GCP, Azure и OCI заявлены в планах.
Для команд, которые внедряют агентов в эксплуатацию, вывод практичный: начинайте с задач, где ошибку видно и можно откатить, и не давайте агенту права на необратимые операции без подтверждения. Бенчмарк как раз показывает, что «почти получилось» здесь стоит дорого.
The benchmark’s idea is simple and therefore useful: take not abstract questions but the real operations a DevOps engineer performs in the cloud, and check whether an agent can do them. Version 1.0 contains 45 AWS tasks — fix a broken service, remove resources, restrict permissions, roll out an update, decommission a project. The tasks were written by experienced engineers, not by model vendors.
The results are sobering. The best score is 60% for Claude Fable 5.1; GPT-6 Astra managed 53%. No model solved every task.
Why they fail
The failure analysis is the interesting part. About 80% of failures come from reasoning rather than ignorance of the services: the agent misjudges the scope of a task, does not check all related services, or stops too early believing it is done. The remaining 20% are wrong actions, some with irreversible consequences for infrastructure.
That is an important correction to the “AI will replace sysadmins” conversation. What fails is not a lack of AWS documentation but the inability to hold a task’s boundaries and verify consequences.
How it works
Tasks run identically in real AWS and in an emulator, so results do not depend on a cloud budget. The project is Apache 2.0, led by Ang Chen’s team at the University of Michigan, with extensions for GCP, Azure and OCI planned.
For teams putting agents into operations, the practical takeaway is to start where mistakes are visible and reversible, and not to grant irreversible operations without confirmation. The benchmark shows precisely that “almost worked” is expensive here.