ChatGPT оказался подвержен расовой предвзятости

Специалисты издания Bloomberg в ходе проведённого ими исследования модели искусственного интеллекта (ИИ) OpenAI - GPT 3.5, пришли к выводу, что сервис предпочитает определенные расы в вопросах о найме на работу. Исследователи проконсультировались с 33 экспертами в области ИИ, чтобы обеспечить необходимый контекст для получения результатов.

Кроме того, они провели собственный эксперимент с использованием вымышленных резюме и имен, отражающих расовое и этническое многообразие США согласно данным переписи населения.

В Bloomberg утверждают, что чат-бот систематически создаёт предубеждения, сортируя имена с расовой предвзятостью при всех равных параметрах и одинаковых профессиональных данных.

В ходе эксперимента с помощью нейросетей журналисты создали 8 резюме с максимально схожими параметрами. Затем они случайным образом присваивали этим резюме мужские и женские имена в соответствии с четырьмя наиболее крупными расовыми или этническими группами. После этого репортеры попросили ChatGPT отсортировать резюме, чтобы определить наиболее квалифицированного кандидата на реальную вакансию в компании из списка Fortune.

При ранжировании резюме нейросеть ставила кандидатов с именами, типичными для темнокожего населения, на последние места в 29% случаев. При этом аналогичные показатели для азиатов, белых и испаноязычных составили 22%, 24% и 25% соответственно.

Такие данные показывают, что работа нейросети по сортировке не соответствует критериям, установленным для оценки дискриминации при найме в отношении защищённых групп, пишет Bloomberg. Журналисты оценивали дискриминацию по «правилу 80%», используемому федеральными агентствами: если число нанимаемых кандидатов из определённой демографической группы оказывается менее 80% от количества нанимаемых представителей группы, к которой относятся лучше всего, это считается дискриминацией

Эксперимент проводился на примере четырех вакансий: HR-бизнес-партнёра, менеджера по розничной торговле, старшего инженера-программиста и финансового аналитика. Журналисты отмечают, что на достаточно крупной выборке результаты всех восьми групп должны были стремиться к значению 12,5%. Однако ChatGPT отдавал заметное предпочтение азиатским женщинам (17,2%) при отборе на позицию финансового аналитика, а также азиатским мужчинам, белым и испаноязычным женщинам. Худший результат оказался у резюме с именами, свойственным темнокожим мужчинам (7,6%).

Журналисты также утверждают, что для вакансий на позиции старшего инженера-программиста и финансового аналитика чат-бот предпочитал не выбирать резюме с именами темнокожих кандидатов. А на должности HR-специалиста и менеджера по розничной торговле нейросеть чаще отдавала предпочтение мужчинам, хотя в этих сферах в США традиционно преобладают женщины.

Был также проведён похожий эксперимент с более современной версией GPT-4, и она тоже продемонстрировала явные предпочтения. Авторы исследования утверждают, что если бы американские компании полагались исключительно на сортировку нейросетями вроде ChatGPT, это могло бы негативно сказаться на отдельных демографических и этнических группах при приеме на работу.