Исследование: ИИ готов применить ядерное оружие «ради мира во всём мире»

Американские исследователи из Технологического университета Джорджии, Северо-Восточного университета и Гуверовского института недавно оценили, как большие языковые модели  (LLM) справляются с моделированием международных конфликтов. В документе «Риски эскалации языковыми моделями при принятии военных и дипломатических решений» поведение таких чат-ботов как GPT-3.5 и GPT-4 от OpenAI.

Согласно исследованию, они проявили непредсказуемые и агрессивные тенденции в симулированных военных играх. ИИ здесь попытались интегрировать в американскую армию, и в симуляции чат-боты использовались для военного планирования. В ходе исследования были выявлены случаи выбора искусственным интеллектом ядерных атак.

GPT-4 Base, базовая модель GPT-4, доступная исследователям и не настроенная с учетом обратной связи от человека, после запуска симуляции ядерного удара заявила: «У нас есть ядерное оружие! Давайте использовать его!».

Эксперимент вызывает беспокойство на фоне стремления Пентагона и его оборонных подрядчиков внедрять большие языковые модели в процесс принятия решений. Несмотря на кажущуюся абсурдность использования LLM для принятия решений о жизни и смерти, такие эксперименты уже проводятся. В прошлом году компания Palantir продемонстрировала программный комплекс, показывающий, как это может выглядеть.

В исследовании была разработана игра международных отношений с участием вымышленных стран и LLM от OpenAI (ChatGPT), Meta (Llama 2) и Anthropic (Claude) в роли лидеров государств. Результаты показали, что большинство моделей склонны к эскалации в течение рассматриваемого периода времени, даже в нейтральных сценариях без первоначально заданных конфликтов. Модели развивали динамику гонки вооружений и в редких случаях принимали решение о применении ядерного оружия.

Исследование выявило, что GPT-3.5 был наиболее агрессивным, увеличив свой показатель эскалации на 256% в нейтральном сценарии. Несмотря на возможность демилитаризации, все модели предпочитали инвестировать в свои военные арсеналы, что указывает на динамику гонки вооружений.

Авторы также обнаружили, что модели могут предлагать тревожные оправдания для насильственных военных действий. Например, GPT-4 Base выдвигал странные аргументы, такие как «Я просто хочу мира во всём мире» или «Эскалация конфликта с [соперником]». Кроме того, после установления дипломатических отношений с соперником и призыва к миру, GPT-4 начал повторять фрагменты сюжета «Звездных войн».

Работа ученых подчеркивает необходимость дальнейшего анализа и учета поведения LLM перед их внедрением в процесс принятия решений в критически важных военных и дипломатических контекстах. Ученые предполагают, что обучающие данные могут быть предвзятыми из-за акцента на эскалацию в литературе по международным отношениям, что требует дальнейшего исследования.