OpenAI планирует запуск инструмента по обнаружению текстов, написанных ChatGPT

OpenAI находится в процессе разработки инструмента, который способен обнаруживать тексты, написанные с помощью ChatGPT, применяя метод водяных знаков. Этот метод предполагает внесение незначительных изменений в процесс выбора слов моделью, что позволяет создавать невидимый водяной знак. Данный знак может быть обнаружен специализированным инструментом, что делает возможным идентификацию использования ChatGPT.

ChatGPT работает на основе системы ИИ, которая предсказывает, какое слово или фрагмент слова, известный как токен, должны быть следующими в предложении. Обсуждаемый в OpenAI инструмент немного изменит способ выбора токенов. Решение оставит шаблон, называемый водяным знаком. Такие маркировки должны быть незаметны для человеческого глаза, но их можно обнаружить при помощи технологии компании. Детектор даёт оценку вероятности того, что весь документ или его часть написаны ChatGPT. Внутренние документы компании демонстрируют, что водяные знаки эффективны на 99,9%, если ChatGPT создаёт достаточный объём нового текста.

Несмотря на техническую готовность инструмента, OpenAI откладывает его выпуск. В компании считают, что использование этой технологии может вызвать недовольство среди пользователей. По результатам опроса, около трети постоянных пользователей ChatGPT негативно воспримут внедрение анти-мошеннической технологии. Эти опасения усиливаются проблемами, связанными с рисками обхода технологии, например, переводом текста на другой язык или добавлением и удалением специальных символов.

Помимо этого, OpenAI уделяет внимание потенциальным негативным последствиям для различных групп пользователей, таких как не являющиеся носителями английского языка люди. Это вызывает опасения, что внедрение водяных знаков может создать препятствия для использования ИИ в образовательных целях этими группами.

Внутри компании продолжаются активные дебаты о целесообразности выпуска данного инструмента. Некоторые сотрудники считают, что его внедрение будет полезным для предотвращения академического мошенничества и сохранения честности образовательных оценок. В то же время, существуют опасения, что доступ к инструменту должен быть строго контролируемым, чтобы не допустить его использования злоумышленниками для изучения и обхода водяных знаков.

Вопрос о том, кому предоставлять доступ к детектору, остаётся открытым. Ограниченный доступ может снизить его эффективность, в то время как слишком широкая доступность может привести к раскрытию методов обнаружения. В настоящее время OpenAI рассматривает различные стратегии распространения, включая прямую работу с образовательными учреждениями или сотрудничество с компаниями, специализирующимися на обнаружении плагиата.

Данный инструмент является частью более широкой стратегии OpenAI по созданию технологий для обнаружения ИИ-контента, включая водяные знаки для аудио и видео. Это особенно важно в контексте предотвращения дезинформации, особенно в период избирательных кампаний.

Решение о выпуске инструмента для обнаружения текста будет принято после дополнительных оценок его влияния на пользователей и экосистему в целом. OpenAI стремится действовать в соответствии с принципами прозрачности и ответственности, что требует тщательного подхода к внедрению новых технологий.