Исследование, проведенное в Институте искусственного интеллекта METR, выявило, что использование современных систем ИИ может замедлять работу опытных программистов. В эксперименте приняли участие 16 разработчиков с более чем десятилетним стажем, которые за определенное время выполнили 246 задач в известных open-source проектах, хорошо им знакомых.
Часть участников работала с помощью нейросетевых инструментов, а часть — без них. В распоряжение участников была дана возможность выбрать метод случайным образом. Ожидалось, что применение ИИ ускорит выполнение задач примерно на 24%. Однако результаты показали обратное: программисты, использующие ИИ, тратили примерно на 19% больше времени. Причинами увеличения времени называют дополнительные затраты на формирование промптов, ожидание ответов от системы и проверку сгенерированного кода.
Интересно, что после завершения задач участники считали, что ИИ помог им ускориться примерно на 20%, в то время как сторонние эксперты предполагали рост продуктивности практически на 40%.
Авторы исследования считают, что подобная разница связана с завышенными ожиданиями эффективности ИИ. На практике нейросети часто дают неточные ответы, узкое контекстное окно мешает продолжительному взаимодействию, а в хорошо знакомых репозиториях советы ИИ уменьшают свою ценность.
Стоит отметить, что ИИ не всегда негативно влияет на производительность. В небольших проектах и при обучении новых технологий использование ИИ может ускорить работу и помочь новичкам быстрее освоиться. Для опытных разработчиков подобные инструменты скорее делают процесс работы более комфортным и психологически приятным, чем ускоряют выполнение задач.
Источник: @hiaimedia
