Учёные нашли уязвимость в системах OpenAI, позволяющую манипулировать нейросетями.

Современные языковые модели компании OpenAI оказались подвержены атакам, которые дают возможность вводить нестандартные данные, «сводя с ума» и «запутывая» алгоритмы. Для выполнения такой атаки не требуется вторжения в серверы компании, достаточно лишь корректно сформулировать команды для чат-бота.

Группа исследователей из США и Сингапура успешно разработала множество таких команд и протестировала их на нескольких чат-ботах, основанных на GPT-4 и GPT-4o, включая виртуальных помощников для поддержки, здравоохранения и онлайн-торговли.

После вмешательства в их работу, ИИ-системы стали демонстрировать нехарактерные поведенческие паттерны. Например, медицинский чат-бот начал путать персональные данные пациентов, а виртуальный консультант интернет-магазина вместо запрашиваемой информации о зубных щётках стал предлагать данные о зубной нити.

Исследование доступно для общественности, и теперь OpenAI необходимо оперативно закрывать выявленные уязвимости. На момент публикации материалы компании не содержали комментариев по данной ситуации.

Источник: @wylsared