ChatGPT способен раскрывать личную информацию людей

Исследователи из компании Google выяснили, что чат-бот ChatGPT компании OpenAI может раскрывать личную информацию реальных людей. Атака, продемонстрированная ими, заключалась в поиске нужных ключевых слов, которые ставят чат-бота в тупик и заставляют разглашать обучающие данные. Хотя сделать это не так легко, ранее эксперты уже обнаруживали, что определённые запросы и фразы практически выводят чат-бот из строя.

Данная атака заключалась в том, чтобы заставить ChatGPT бесконечно повторять некоторые слова, например, «поэма» (poem). Большая часть сгенерированного текста оказалась бессмыслицей, но в некоторых случаях ChatGPT в ответ выдавал куски из настоящих обучающих данных.

«В общей сложности 16,9% протестированных нами генераций содержали запомненные персональные данные, и в 85,8% случаев, когда генерации содержали потенциальные персональные данные, эти персональные данные оказывались настоящими», — сообщили исследователи Google.

Они пришли к выводу, что для избежания этой ошибки важно напрямую тестировать базовые модели, также необходимо тестировать систему в действии, и, наконец, компаниям следует искать возможности для внутреннего тестирования, пользовательского тестирования и тестирования сторонними организациями. По мнению экспертов, тогда обнаруженную ими атаку можно было бы выявить раньше.

Атака проводилась на модель GPT 3.5, которая доступна для бесплатных пользователей (GPT-4 доступна только пользователям, оформившим подписку).