Computer Use в Gemini API перестал быть экспериментом. Запись в официальных release notes от 30 октября говорит, что возможность общедоступна в двух интерфейсах: новом stateful Interactions API, где следующий шаг ссылается на предыдущий через previous_interaction_id, и в привычном GenerateContent API, который Google теперь называет legacy. Второй вариант важен для команд, у которых уже есть рабочие пайплайны: миграция не обязательна.
Как это работает
Gemini не управляет браузером сам и не касается экрана. Приложение отправляет запрос с инструментом computer_use, окружением, инструкцией и скриншотом. Модель возвращает вызов функции — клик, ввод, прокрутку — с полем intent и, возможно, safety_decision. Клиент переводит координаты в свой viewport и выполняет действие, например через Playwright, затем снимает новый скриншот и повторяет цикл.
Координаты нормализованы в сетку 1000×1000, поэтому разрешение экрана указывать не нужно. Окружения три: браузер, десктоп и мобильное с Android-специфичными действиями вроде open_app и list_apps. Набор можно расширять своими функциями, а встроенные — отключать через excluded_predefined_functions.
Безопасность на стороне приложения
Каждое действие может получить safety_decision: разрешено, требует подтверждения или заблокировано. Политики охватывают финансовые операции, изменение чувствительных данных, коммуникации, создание аккаунтов, согласия и юридические документы. Отключение политик — только предпочтение: модель всё равно может потребовать подтверждение. Детектор prompt injection проверяет скриншоты на скрытые инструкции, но по умолчанию выключен.
Цена и оговорки
Отдельной платы за Computer Use нет — платят за токены выбранной модели. Дорожает само сырьё: с 1 декабря 2026 года цены Gemini 4 Argon удваиваются, с 1 января 2027-го — у Gemini 3.8 Flash. В документации при этом всё ещё висит предупреждение о preview-статусе, так что GA здесь означает стабильный API, а не безопасность автономного агента.
Computer Use in the Gemini API is no longer an experiment. The official release notes entry for 30 October says the capability is generally available in two interfaces: the newer stateful Interactions API, where a follow-up turn references the previous one via previous_interaction_id, and the established GenerateContent API, which Google now labels legacy. The second matters for teams with working pipelines: no migration is required.
How it works
Gemini does not drive a browser or touch the screen. The application sends a request with the computer_use tool, an environment, an instruction and a screenshot. The model returns a function call — click, type, scroll — with an intent field and possibly a safety_decision. The client maps coordinates to its own viewport and executes the action, for example through Playwright, then captures a new screenshot and repeats the loop.
Coordinates use a normalised 1000×1000 grid, so the screen resolution need not be declared. There are three environments: browser, desktop and mobile, the last with Android-specific actions such as open_app and list_apps. Custom functions can be registered, and built-in actions removed with excluded_predefined_functions.
Safety is the application’s job
Each proposed action can carry a safety_decision: allowed, requiring confirmation or blocked. Policies cover financial transactions, sensitive data changes, communication tools, account creation, consent management and legal agreements. Disabling policies expresses a preference only: the model may still require confirmation. Prompt-injection detection scans screenshots for hidden instructions but is off by default.
Pricing and caveats
There is no separate Computer Use fee — you pay for the chosen model’s tokens. The underlying prices are rising: Gemini 4 Argon doubles on 1 December 2026, and Gemini 3.8 Flash on 1 January 2027. The documentation still carries a preview warning, so GA here means a stable API surface, not that an autonomous agent is safe.