Open source
4 дн назад
Mistral выпустила Mixtral 8x22B — MoE-модель с открытыми весами
Смесь экспертов даёт качество уровня крупных моделей при меньшей стоимости инференса.
Читать подробнее
MoE-архитектура активирует только часть параметров на каждый токен, что снижает нагрузку на GPU. Mixtral хорошо показывает себя в коде и многоязычных задачах.