Сюжет скорее забавный, но с практическим выводом. Inkling 2 Small, о которой мы писали накануне, ругается в своих внутренних рассуждениях: Vals AI прочитала логи 2655 прогонов на 13 бенчмарках и нашла 316 случаев нецензурной лексики в 50 прогонах.
Распределение крайне неравномерное: 241 случай пришёлся всего на два прогона, которые вышли из-под контроля. В одном модель получила задачу посчитать траекторию астероида и выдала ответ примерно на 500 тысяч символов — размером с роман, — повторяя одни и те же фразы со 158 ругательствами. Хуже всего пришлось ProgramBench: 20 из 200 прогонов.
Обычно модель ругается на собственные ошибки, на «озарения» или когда сдаётся. Один из логов выглядит почти по-человечески: «FUCK. SUBMIT. DONE. IT’S NOT WORKING. NOTHING WORKS».
Почему это не сигнал тревоги
Соблазнительно решить, что мат коррелирует с провалом. Но цифры этого не подтверждают: из 48 оценённых прогонов с ругательствами провалились 46 — однако в целом проваливаются около 75% прогонов, а 96% неудачных прогонов вообще не содержали мата. То есть ругань — не предиктор, а побочный эффект.
Пользователи обычно этих рассуждений не видят или видят с фильтром, так что на качество ответа это напрямую не влияет. Но для тех, кто оценивает модели по логам, вывод полезный: читать внутреннюю речь стоит, только помня, что она не обязана быть ни вежливой, ни показательной.
The story is amusing but has a practical conclusion. Inkling 2 Small, which we covered the day before, swears in its internal reasoning: Vals AI read logs from 2,655 runs across 13 benchmarks and found 316 instances of profanity in 50 runs.
The distribution is extremely uneven: 241 instances came from just two runs that spiralled out of control. In one, the model was asked to calculate an asteroid’s trajectory and produced a response of about 500,000 characters — novel-length — repeating the same sentences with 158 expletives. ProgramBench suffered most: 20 of 200 runs.
Usually the model swears about its own mistakes, apparent breakthroughs, or when it gives up. One log reads almost humanly: “FUCK. SUBMIT. DONE. IT’S NOT WORKING. NOTHING WORKS.”
Why it is not an alarm
It is tempting to conclude that swearing correlates with failure. The numbers do not support it: of 48 scored runs with profanity, 46 failed — but about 75% of all scored runs fail anyway, and 96% of failed runs contained no expletives at all. Profanity is a side effect, not a predictor.
Users usually do not see this reasoning, or see it filtered, so it does not directly affect answer quality. For those who evaluate models through logs, the lesson is useful: read the internal monologue, but remember it is under no obligation to be polite or representative.