Mistral открыла публичное превью Large 4 — мультимодальной MoE-модели с заявленным общим объёмом около 1,05 триллиона параметров и контекстом до миллиона токенов. Пока доступен API, а публикацию весов компания обещает позже в октябре.
Что произошло
Новая модель предназначена для программирования, агентских сценариев, работы с документами и изображениями. В конфигурации используются десятки миллиардов активных параметров на один запрос, поэтому размер всей модели не равен её вычислительной стоимости при каждом обращении.
Почему это важно
Большой контекст делает Large 4 интересной для анализа крупных репозиториев, длинных технических регламентов и многошаговых задач. Для разработчиков это ещё один кандидат на роль единой модели, которая умеет читать код, вызывать инструменты и работать с визуальными данными.
Что с результатами
Первые цифры в основном относятся к тестам самой компании или заказанным ею оценкам, поэтому воспринимать их как окончательный рейтинг рано. Независимые измерения ещё должны показать, насколько заявленное преимущество сохраняется на реальных задачах.
Вывод
Главная интрига — не само громкое число параметров, а сочетание открытых весов, длинного контекста и приемлемой цены запуска. Если обещанные веса действительно выйдут в конце месяца, локальные разработчики получат ещё один сильный вариант для экспериментов.