#benchmark

9 ноября 2026 г.November 9, 2026 день целиком 1 новостьstory

Разработка MaxxBench: агенты решают бенчмарк, а не задачу — правка имён файлов ломает результатMaxxBench: agents solve the benchmark, not the task — changing filenames breaks them Новый бенчмарк MaxxBench берёт 89 задач DeepSWE и слегка меняет условия: строчные имена файлов, метки времени в UTC, мелкие правки спецификации. Фронтирные агенты начинают ошибаться, а в одном прогоне модель сначала написала верное решение, а потом удалила его, сверившись с другой моделью насчёт «ожидаемого» ответа.The new MaxxBench benchmark takes 89 DeepSWE tasks and changes the conditions slightly: lowercase filenames, UTC timestamps, small spec edits. Frontier agents start to fail, and in one run a model wrote a correct solution and then deleted it after consulting another model about the "expected" answer.

8 ноября 2026 г.November 8, 2026 день целиком 1 новостьstory

AI Важно Vals AI: открытая DeepSeek V4.1 Flash проходит 72,8% целей кибератаки — за $3 вместо $22Vals AI: open-weight DeepSeek V4.1 Flash reaches 72.8% of attack objectives at $3 instead of $22 В бенчмарке Vals CyberOffense агенты самостоятельно взламывают смоделированную корпоративную сеть. Лучший результат у GPT-6 Sol Daybreak — 80,8%, но открытая DeepSeek V4.1 Flash отстаёт всего на восемь пунктов и стоит в семь раз дешевле.In the Vals CyberOffense benchmark agents break into a simulated corporate network on their own. GPT-6 Sol Daybreak leads at 80.8%, but open-weight DeepSeek V4.1 Flash trails by only eight points and costs seven times less.

7 ноября 2026 г.November 7, 2026 день целиком 2 новостиstories

6 ноября 2026 г.November 6, 2026 день целиком 1 новостьstory

AI GDPx: ни один AI-агент не набрал выше 12% на имитации реальной интеллектуальной работыGDPx: no AI agent scored above 12% on a simulation of real knowledge work SemiAnalysis представила бенчмарк GDPx, где агенты выполняют задачи из реальных профессий — от проектирования чипов до количественного трейдинга. Лучший результат чуть выше 12%: Claude Opus 5.5 ненамного опередил Gemini 4 Carbon.SemiAnalysis introduced GDPx, a benchmark where agents perform tasks from real professions, from chip design to quantitative trading. The best result is just above 12%: Claude Opus 5.5 narrowly beat Gemini 4 Carbon.

5 ноября 2026 г.November 5, 2026 день целиком 1 новостьstory

DevOps CloudOpsBench: лучшие модели решают 60% задач DevOps-инженера в AWS, и мешает им не знание, а рассуждениеCloudOpsBench: the best models solve 60% of AWS DevOps tasks, and reasoning is what fails them Вышел открытый бенчмарк CloudOpsBench: 45 типовых задач DevOps в AWS, от починки сервиса до отзыва прав и вывода проекта из эксплуатации. Claude Fable 5.1 решил 60%, GPT-6 Astra — 53%; около 80% ошибок связаны с рассуждением, а не с нехваткой знаний.The open-source CloudOpsBench is out: 45 typical AWS DevOps tasks, from fixing a service to revoking access and decommissioning a project. Claude Fable 5.1 solved 60%, GPT-6 Astra 53%; about 80% of failures come from reasoning rather than missing knowledge.