Компания Meta представила новое поколение моделей искусственного интеллекта. Семейство Llama 4 включает три модели с различной производительностью.

Scout, обладающий 17 миллиардами параметров, способен обрабатывать до 10 миллионов токенов, что в 80 раз превышает возможности своего предшественника, а также превосходит аналогичные решения от компаний Google и Mistral.

Maverick содержит 17 миллиардов активных из 400 миллиардов параметров и демонстрирует лучшие результаты по сравнению с GPT-4o и Gemini 2.0 Flash.

Behemoth пока что находится на стадии разработки и имеет 288 миллиардов активных параметров из почти 2 триллионов. Эта модель служит в качестве учителя для Scout и Maverick, показывая превосходство над лидерами рынка в научных испытаниях.

Все модели основаны на архитектуре mixture-of-experts, которая активирует лишь часть параметров для обработки каждого запроса.

Источник: @typespace