Современные языковые модели, основанные на архитектуре трансформеров, сталкиваются с одной из главных проблем — ограниченной долговременной памятью. Эти системы способны запомнить лишь ограниченный объем информации, связанный с тренировочными данными и контекстным окном, после чего любые новые взаимодействия начинают восприниматься как чистый лист.

Хотя модели можно дообучать, с каждым новым обучением часть ранее полученных знаний исчезает. В ответ на эту проблему Google предложил новую методику — концепцию вложенного обучения, которая дает возможность создавать системы ИИ, способные учиться и развиваться без потери старых знаний.

Эта стратегия активно имитирует работу человеческого мозга, разделяя память на кратковременную и долговременную. Инженеры разбили модель на уровни, каждый из которых обучается с собственной скоростью: быстрые слои обновляются быстрее, а более глубокие — остаются практически неизменными. Такой подход позволяет системе постепенно адаптироваться к новым данным, сохраняя уже приобретенные навыки.

На базе этой идеи была создана архитектура под названием HOPE, которая по тестам превосходит существующие модели, такие как Titan и традиционные трансформеры, особенно в умении точно работать с большим объемом информации и выявлять мелкие детали.

Google надеется, что подобные разработки помогут сократить разрыв между современными нейросетями и человеческим интеллектом, а также способствовать созданию самосовершенствующихся систем искусственного интеллекта.

Источник: @hiaimedia