С помощью ИИ проведут психологический анализ пользователей соцсетей без их согласия

Институт системного программирования им. В. П. Иванникова, получивший грант от Аналитического центра при Правительстве России, разместил на сайте государственных закупок сразу несколько тендеров, посвящённых изучению искусственного интеллекта (ИИ).

Первый контракт, на который обратил внимание «Ъ», предполагает проведение исследования о возможностях использования ИИ для психологической диагностики личности по социальным сетям.

В тендерной документации заказчик отмечает, что распространение технологий, использующих цифровые следы для анализа личности, «открывает широкие возможности по оценке личности и прогнозированию ее поведения без осуществления психологического тестирования, требующего его добровольного согласия».

Новая технология должна будет помочь бороться с группами смерти, вовлечением граждан в террористическую деятельность и экстремизмом.

Итоги конкурса подведут уже 29 ноября. Подрядчик должен выполнить работы до 1 сентября 2024 года.

Начальная стоимость контракта — 36 миллионов рублей.

В пресс-службе Аналитического центра объяснили, что технологию намерены применять для оценки состояния лиц, принимающих ключевые государственные или корпоративные решения, а также «распознавания манипулятивного управления большими социальными группами, оценки творческого потенциала работников и моделирование их профессионального развития».

Однако юристы считают, что использование этой технологии может противоречить действующему законодательству по защите персональных данных. По мнению преподавателя Moscow Digital School Олега Блинова:

«Когда мы выкладываем фотографии в соцсетях, мы рассчитываем, что они будут интересны нашим друзьям и знакомым. Однако получается, что некий ФГБУ будет собирать ваши данные и присваивать вам "оценки личности", проводить "психологическую диагностику", цели которой непонятны».

Директор по правовым инициативам Фонда развития интернет-инициатив Александра Орехович подчеркнул, что даже если человек не ограничил доступ к информации, опубликованной в соцсетях, она защищается законом о персональных данных, поэтому на обработку должно быть получено отдельное согласие, в котором будут прописаны условия и ограничения обработки информации третьими лицами.

Как мы уже сказали выше, это не единственный связанный с изучением возможностей ИИ тендер, который Институт им. Иванникова выложил на сайте госзакупок.

Лот на 16 000 000 рублей касается научно-исследовательских работы по теме «Методы обнаружения и противодействия состязательным атакам на модели машинного обучения».

В техническом задании рассказывается о важности обеспечения доверенного характера моделей машинного обучения, особенно в критически значимых приложениях государственного масштаба, включая здравоохранение, финансы, масс-медиа, оборонный комплекс и др.

«Одним из центральных вопросов разработки систем доверенного интеллекта является проблема неустойчивости отображений, выучиваемых моделями машинного обучения, к изменениям входных данных. Даже незначительное изменение входного объекта (например, добавление невидимого глазу шума к картинке) может существенно изменить предсказание модели на новом объекте, который как внешне, так и по метрикам схожести практически не отличается от исходного объекта», — озвучивает проблему заказчик.

В качестве основных целей закупки обозначены:

• Исследование, систематизация и классификация современных методов организации, выявления и противодействия состязательным атакам на модели машинного обучения, а также разработка критериев оценки устойчивости существующих моделей к подобным атакам.
• Разработка экспериментального образца программного обеспечения для выявления и противодействия состязательным атакам на модели машинного обучения, и для оценки устойчивости существующих моделей к подобным атакам.

Ещё один тендер, также стоимостью 36 миллионов рублей, выполняется в рамках комплекса работ по оценке защищенности и выявления возможных сценариев атак на технологии искусственного интеллекта (ТИИ) на примере сервиса распознавания патологий на медицинских изображениях (рентгеновских снимках) органов грудной клетки AI.Radiology, разработчик АНО ВО «Университет Иннополис».

Целями проведения данной научно-исследовательской работы являются:

• Проверка сервиса AI.Radiology на соответствие критериям доверия и создание доверенной версии сервиса;
• Выработка критериев доверия к системам с ТИИ в медицине и формирование методик создания доверенных систем с ТИИ в медицине.

При выполнении контракта на проведение научно-исследовательских работ по теме «Приложение методов доверенного и объяснимого искусственного интеллекта к анализу омикс-данных» исполнителю предстоит проанализировать современное состояние методов объяснимого ИИ; понять проблемы, «возникающие при применении моделей машинного обучения к данным высокой размерности с малым количеством примеров, и выбор критериев доверия к системе при переобучении в ситуации корректного предсказания и неверно выбранных признаков, а также при состязательных атаках в ситуации низкой уверенности системы о предсказанном значении».

Необходимо будет также провести анализ существующих методов определения аномалий во входных данных, приводящих к прогнозам с низкой достоверностью и ещё целый ряд исследований, касающихся применения ИИ по части обработки данных, и минимизировать риски ошибочного принятия решения системой ИИ.

Начальная стоимость контракта — 45 миллионов рублей.

Выполнение всех контрантов намечено на сентябрь 2024 года.