Недавнее исследование посвящено Large Concept Models (LCM) — новой концепции в языковом моделировании, которая отделяет процесс рассуждения от языкового выражения, подчеркивая параллели с высокоуровневыми человеческими мыслями, необходимыми для коммуникации.

Large Concept Model (LCM) представляет собой передовой подход к языковым моделям, который выходит за рамки традиционной обработки токенов. Вместо работы с отдельными словами, LCM функционирует с «концепциями» — абстрактными единицами, такими как фразы или действия.

Эта модель создана с целью достижения уровня абстракции, который близок к человеческому восприятию и генерации текста.

Главные преимущества:

✔️ Абстрактное мышление:
Модель обучается интерпретировать смысловую информацию независимо от языка или модальности (текст и речь).

✔️ Иерархическая структура:
Способствует созданию длинных и логически последовательных текстов.

✔️ Многоязычная поддержка:
Использует пространство SONAR, включающее 200 языков для текста и 76 для речи.

Экспериментальные результаты:

— Генерация без дополнительных примеров:
Модель демонстрирует лучшие результаты в задачах обобщения на новых языках по сравнению с существующими моделями аналогичного размера.

Источник: @kikobzor