Название «Base» здесь ключевое. Baidu выложила не готового ассистента, а сырьё: модель после предобучения, без инструктивного дообучения, без RLHF и без выравнивания. В карточке на Hugging Face это зафиксировано прямо — компания предлагает сообществу самому решить, каким будет финальный характер модели.
Что внутри
Архитектура — mixture-of-experts: 280 млрд параметров всего, около 14 млрд активны на каждый вход. Предобучение шло на 33,5 трлн токенов с контекстом до 128 тысяч токенов, а при дообучении и инференсе модель рассчитана на контекст до миллиона. Веса доступны в FP8 и BF16.
По бенчмаркам Baidu сравнивает модель с сопоставимыми открытыми базами — DeepSeek V4 Flash, MiMo V2.5 и Hy3-preview-Base — и заявляет паритет в рассуждениях, коде и длинном контексте. Цифры, как обычно, стоит воспринимать как заявку производителя до независимых прогонов.
Почему это интересно
Во-первых, это редкий случай, когда крупная лаборатория публикует именно базу, а не «готовый продукт с открытыми весами». Для исследователей это удобнее: нет чужого выравнивания, которое приходится обходить, и есть контроль над данными посттренинга.
Во-вторых, это ещё один шаг в конкуренции открытых моделей из Китая, где Basе-версии выходят быстрее, чем успевают появляться независимые оценки. Практический вывод для команд: если планируете дообучение под свою задачу, такая база — разумная отправная точка. Если нужен готовый ассистент — ждите версию после посттренинга или берите другую модель.
The word “Base” is the point here. Baidu released not a finished assistant but raw material: a model after pre-training, without instruction tuning, RLHF or alignment. The Hugging Face card says so plainly — the company invites the community to decide what the model’s final character should be.
What is inside
The architecture is mixture-of-experts: 280 billion parameters in total, about 14 billion active per input. Pre-training ran on 33.5 trillion tokens with a context of up to 128,000 tokens, and the model is designed for up to a million tokens during fine-tuning and inference. Weights come in FP8 and BF16.
On benchmarks Baidu compares it with similarly sized open bases — DeepSeek V4 Flash, MiMo V2.5 and Hy3-preview-Base — claiming parity in reasoning, code and long context. As usual, treat those numbers as a vendor claim until independent runs appear.
Why it matters
First, it is a rare case of a large lab publishing a base rather than a “finished product with open weights”. That is more convenient for researchers: no foreign alignment to work around, and control over post-training data.
Second, it is another step in the competition among Chinese open models, where base versions ship faster than independent evaluations can appear. The practical takeaway for teams: if you plan to fine-tune for your own task, such a base is a reasonable starting point. If you need a ready assistant, wait for the post-trained version or pick another model.