30 November 2023

ChatGPT способен раскрывать личную информацию людей

НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН, РАСПРОСТРАНЕН И (ИЛИ) НАПРАВЛЕН ИНОСТРАННЫМ АГЕНТОМ «РОСКОМСВОБОДА» ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА «РОСКОМСВОБОДА». 18+
Атака, продемонстрированная исследователями, заключалась в поиске нужных ключевых слов, которые ставят чат-бота в тупик и заставляют его разглашать обучающие данные.

Исследователи из компании Google выяснили, что чат-бот ChatGPT компании OpenAI может раскрывать личную информацию реальных людей. Атака, продемонстрированная ими, заключалась в поиске нужных ключевых слов, которые ставят чат-бота в тупик и заставляют разглашать обучающие данные. Хотя сделать это не так легко, ранее эксперты уже обнаруживали, что определённые запросы и фразы практически выводят чат-бот из строя.

Данная атака заключалась в том, чтобы заставить ChatGPT бесконечно повторять некоторые слова, например, «поэма» (poem). Большая часть сгенерированного текста оказалась бессмыслицей, но в некоторых случаях ChatGPT в ответ выдавал куски из настоящих обучающих данных.

«В общей сложности 16,9% протестированных нами генераций содержали запомненные персональные данные, и в 85,8% случаев, когда генерации содержали потенциальные персональные данные, эти персональные данные оказывались настоящими», — сообщили исследователи Google.

Они пришли к выводу, что для избежания этой ошибки важно напрямую тестировать базовые модели, также необходимо тестировать систему в действии, и, наконец, компаниям следует искать возможности для внутреннего тестирования, пользовательского тестирования и тестирования сторонними организациями. По мнению экспертов, тогда обнаруженную ими атаку можно было бы выявить раньше.

Атака проводилась на модель GPT 3.5, которая доступна для бесплатных пользователей (GPT-4 доступна только пользователям, оформившим подписку).

Contacts

For general questions

[email protected]

For legal questions

[email protected]

Contacts for media:

Telegram: moi_fee
Signal: moi_fee.13

18+

On December 23, 2022, the Ministry of Justice included Roskomsvoboda in the register of unregistered public associations performing the functions of a foreign agent. We disagree with this decision and are appealing it in court.