Европейская Aleph Alpha представила Kolibri-1 — модель с 78,1 млрд параметров, распространяемую под Apache 2.0. Благодаря разреженной архитектуре во время одного шага активна лишь небольшая часть сети, что снижает требования к вычислениям.
Что произошло
Kolibri-1 построена как mixture-of-experts: из большого общего набора параметров на запрос включается ограниченное число экспертов. Веса доступны для самостоятельного запуска, а модель ориентирована прежде всего на математические и научные задачи.
Почему это важно
Для локального ИИ размер модели на диске и реальная стоимость инференса важнее красивой цифры в названии. Разреженная схема позволяет получить возможности крупной сети без постоянной активации всех параметров, хотя память для хранения полного набора весов всё равно нужна.
Где есть ограничения
Первые опубликованные сравнения выглядят сильнее всего на математике и естественных науках. В программировании и инструментальных сценариях преимущество не выглядит универсальным, поэтому Kolibri-1 стоит рассматривать как специализированный открытый вариант, а не безусловную замену всем популярным моделям.
Вывод
Европейский релиз добавляет к гонке открытых моделей ещё один критерий — не только максимальную точность, но и цену самостоятельного запуска. Для компаний с собственными GPU это может оказаться важнее, чем очередное лидерство в одном публичном бенчмарке.