Для того чтобы передавать нейросетям важные обязанности, такие как медицинская диагностика, необходимо удостовериться, что их когнитивные способности не менее развиты, чем у человека. На данный момент это вызывает сложности. Исследовательская группа из Израиля и Великобритании показала, что большие языковые модели могут не только уступать человеку в размышлениях, но и демонстрировать признаки старческой деменции.
Несколько моделей искусственного интеллекта, включая GPT-4 и 4o, Claude 3.5 Sonnet, а также Gemini 1 и 1.5, проходили тесты Монреальской шкалы когнитивной оценки, которые используются для выявления ранних признаков деменции у людей.
Тест предусматривает оценку таких аспектов, как краткосрочная память, внимание, языковые навыки и пространственная ориентация. Максимально возможное количество баллов составляет 30, причем оценка ниже 26 указывает на возможность когнитивных нарушений.
Из всех участников теста лучше всего справилась GPT-4o, которая набрала 26 баллов. Модели GPT-4 и Claude сохранили по 25 баллов, тогда как Gemini 1.0 показала худший результат — 16 баллов. Стоит отметить, что только GPT-4o успешно выполнила сложное задание на гибкость мышления. Однако все протестированные модели продемонстрировали значительные слабости в заданиях на пространственное восприятие и исполнительные функции.
Возраст моделей оказался важным фактором: чем старше модель искусственного интеллекта, тем хуже были ее результаты. Это подчеркивает опасения ученых относительно того, насколько разумно доверять высокорискованным задачам ИИ, особенно если модель не является самой современной.
Принцип «доверяй, но проверяй» в отношении нейросетей по-прежнему актуален. А стремительная разработка новых версий ИИ в стартапах, похоже, все же приносит свои плоды.
Источник: @hiaimedia
