ИИ-модели испытывают когнитивные нарушения подобно возрастной деменции

Недавнее исследование, опубликованное в The BMJ, обнаружило, что популярные языковые модели, такие как GPT-4, Claude и Gemini, проявляют признаки когнитивных нарушений на тестах, обычно используемых для диагностики деменции. Это поднимает вопросы о возможностях и ограничениях ИИ в медицинских и других сложных областях.

Учёные тестировали модели с помощью Монреальского когнитивного теста (MoCA), оценивающего такие навыки, как внимание, память, языковые способности, а также исполнительные и зрительно-пространственные функции. Максимальный балл теста — 30, нормой считается результат 26 и выше. GPT-4o показал наилучший результат — 26 баллов, а Gemini 1.0 получил лишь 16 баллов.

Основные трудности возникли у моделей при выполнении зрительно-пространственных задач и теста с рисованием циферблата часов. Однако большинство моделей успешно справились с тестами на внимание, язык и абстракцию.

Авторы исследования подчёркивают, что, несмотря на успехи ИИ в диагностике, выявленные ограничения подчеркивают необходимость дальнейшего совершенствования технологий. Это ставит под сомнение идеи о возможной замене врачей искусственным интеллектом в ближайшем будущем.