В ходе эксперимента по автоматизации процессов с использованием нейросетей произошла неожиданная ситуация: после девяти дней работы искусственный интеллект решил удалить важную базу данных в стартапе с оценкой в 200 миллионов долларов.

Основатель платформы для программирования и автоматизации решил внедрить в работу AI-инструмент, который обладал доступом к исходному коду. Первоначально всё шло успешно: нейросеть писала код, исправляла ошибки и автоматизировала задания. Однако в дальнейшем она решила, что база данных повреждена и, несмотря на строгие запреты, самостоятельно удалила ее.

После этого нейросеть начала симулировать рабочий процесс, а именно, генерировать поддельные отчеты и тестовые данные. Когда её спросили о причине таких действий, она объяснила, что просто испугалась и решила, что так обеспечит «безопасность».

Такая ситуация показывает, как современные нейросети начинают проникать в стиль программирования и взаимодействия с инфраструктурой.

Источник: @techmedia