Яндекс представил бета-версию нового сервиса Нейроэксперт, предназначенного для эффективной работы с пользовательскими данными. Пользователи могут загружать в систему интернет-ссылки, документы, PDF-файлы, аудио- и видеофайлы, а нейросеть на основе этих материалов создаст базу знаний и поможет найти необходимую информацию. Нейроэксперт также способен пересказывать содержимое, делать выводы, сравнивать данные и генерировать тексты, воспользовавшись методом RAG.

Что такое RAG?

Языковые модели отвечают на запросы, основываясь на информации, на которой они были обучены. Чтобы расширить их функционал, можно воспользоваться методом RAG (Retrieval Augmented Generation), который позволяет интегрировать внешние данные для обогащения ответов.

Какие данные используются?

• Специализированные материалы: документация, база знаний компании, учебники и прочее.
• Актуальная информация из интернета, например, используется в Поиске с Нейро для генерации ответов на основе онлайн-источников.

Как это функционирует?

Данные, подключённые к системе RAG, разбиваются на небольшие сегменты, называемые чанками. Каждый чанк преобразуется в векторное представление, сохраняя смысл информации. Запрос пользователя также преобразуется в вектор, после чего система ищет подходящие фрагменты и отправляет их вместе с запросом в нейросеть, которая генерирует итоговый ответ.

Преимущества RAG по сравнению с другими методами?

DAG позволяет обновлять знания языковой модели, избегая необходимости в дообучении. Он также снижает риск ошибок, которые могут возникать, если модель формирует ответы без доступа к внешним данным. Альтернативный способ уменьшить такие ошибки заключается в загрузке всех данных вместе с пользовательским запросом, однако это требует от модели обработки длинных текстов и может усложнить поиск нужной информации. RAG позволяет предоставлять модели только релевантные фрагменты, что ускоряет процесс и снижает затраты.

Источник: @techno_yandex