В результате расследования The Guardian была выявлена критическая уязвимость в новой поисковой системе ChatGPT, разработанной OpenAI.

Установлено, что через использование скрытого текста на веб-страницах можно манипулировать ответами искусственного интеллекта, иногда даже заставляя его выводить вредоносный код.

Как проявляется эта уязвимость? Журналисты создали демонстрационный сайт с характеристиками камеры и попросили ChatGPT провести её оценку. При стандартном запросе ИИ предоставлял сбалансированное мнение, указывая на плюсы и минусы. Однако, когда на страницу добавляли скрытый текст с указаниями, ChatGPT начинал генерировать исключительно положительные отзывы, игнорируя изначально имеющиеся негативные отклики.

Карстен Нол, ведущий научный сотрудник SR Labs, сравнил данную ситуацию с техникой «SEO-отравления», когда хакеры манипулируют контентом для повышения позиций сайта в поиске. Он отметил, что большие языковые модели проявляют высокую степень доверчивости, подобно детям, наделённым обширной памятью, но без развитых критических навыков.

Официальной реакции OpenAI по данному вопросу пока не последовало. Рекомендуется использовать традиционные способы поиска информации в интернете.

Источник: @droidergram