Разработан инновационный ИИ-агент, способный самостоятельно генерировать обучающие данные для своего усовершенствования. Исследователи из Массачусетского технологического института создали систему, получившую название SEAL (Self-Adapting Language Models), которая обладает способностью самообучаться без необходимости получения новых данных извне.

Главная идея заключается в том, чтобы не ограничиваться использованием исходных текстов для тренировки, а дать модели возможность перерабатывать и структурировать информацию, улучшая её запоминание и применение. Разработчики сравнивают такую систему с образованием студента: вместо зубрежки лучше делать заметки, создавать схемы и оставлять комментарии.

Как работает эта технология?

Первый этап включает получение системой нового контекста и создание на его основе так называемого «самоисправления». Затем происходит структурирование данных, настройка параметров и подготовка инструкций для следующего этапа обучения.

На втором этапе модель дообучается и тестируется. Если самоисправление приводит к улучшению результатов, оно сохраняется и применяется в последующих циклах для генерации новых инструкций. таким образом, модель путем метода проб и ошибок становится всё более умной и результативной.

Эта методика уже показала свою эффективность на задачах, требующих абстрактного мышления. Например, базовая модель Llama-3.2-1B, изначально неспособная решить задачи, достигла успеха в 72,5% тестов после применения подхода SEAL.

Значение этого подхода заключается не только в повышении мощности интеллектуальных систем, но и в более рациональном использовании ограниченных данных для обучения. Аналитики прогнозируют, что в период с 2026 по 2032 годы запасы данных для тренировки нейросетей могут исчерпаться, и системы вроде SEAL станут одним из ключевых решений этой проблемы.

Источник: @hiaimedia