[Перевод] Код неравенства: как ИИ научился дискриминировать

Одна из самых впечатляющих способностей искусственного интеллекта - находить закономерности, которые ускользают от человеческого взгляда. В так называемом «обучении без учителя» разработчики не размечают данные заранее, а позволяют модели самостоятельно выявлять скрытые структуры. Результаты порой поражают: алгоритмы обнаруживают признаки рака на снимках задолго до того, как их заметит опытный радиолог.

Но у этого подхода есть оборотная сторона: мы никогда не знаем заранее, какие именно закономерности уловит машина.

Допустим, мы обучаем модель на наборе изображений:

Человек мгновенно понимает разницу между котом и коалой. Но что усвоила машина? Если после обучения показать ей следующий снимок:

...что она ответит? Научилась ли она отличать виды животных - или просто запомнила, что «пушистое на дереве» и «пушистое не на дереве» - это разные категории?

Именно поэтому обучение без учителя требует осторожности. Данные нужно отбирать тщательно, иначе модель рискует усвоить уроки, которые окажутся бесполезными - или откровенно вредными.

Дискриминация без дискриминаторов

В 2018 году агентство Reuters сообщило, что Amazon свернула проект по автоматическому отбору резюме. Причина оказалась неожиданной: алгоритм систематически занижал оценки женщин-кандидатов, даже если их квалификация не уступала мужской, а порой и превосходила ее.

Модель обучали на резюме успешных сотрудников за последние десять лет. Большинство из них были мужчинами - такова была реальность технологической отрасли. Машина сделала «логичный» вывод: мужчины предпочтительнее. Она понижала в рейтинге резюме, содержащие слово «women's» (например, «капитан женского шахматного клуба»), и занижала оценки выпускницам женских колледжей.

Инженеры попытались сделать алгоритм нейтральным к гендерной лексике, но модель находила обходные пути: выводила пол косвенно и продолжала дискриминировать. Не найдя решения, проект закрыли.

Это не единичный случай. В 2023 году Дерек Мобли - темнокожий мужчина за сорок, страдающий тревожным расстройством и депрессией - подал иск против компании Workday, разрабатывающей программное обеспечение для найма. Мобли обвинил алгоритм в дискриминации по расе, возрасту и состоянию здоровья.

На первый взгляд его резюме безупречно: выпускник Морхауса - одного из старейших исторически черных колледжей, опытный IT-инженер с работой в HP и Налоговой службе США. Но после сотен отказов Мобли заподозрил неладное. По его мнению, алгоритм вычислил его расу по месту обучения, возраст - по датам в резюме, а психическое здоровье - по ответам в личностных тестах. И использовал эти выводы против него.

Ключевой момент: ни один из этих алгоритмов не создавался с целью дискриминировать. Amazon активно пыталась предотвратить сексистские выводы - и потерпела неудачу. В юридической терминологии это называется «различием в последствиях» (disparate impact): формально нейтральные практики, которые все равно приводят к дискриминации по защищенным признакам.

Проблемы возникают, когда ИИ принимает решения о судьбах людей. Но для повседневных задач - написания текстов, анализа данных, автоматизации рутины - нейросети остаются мощным инструментом.

Делегируйте часть рутинных задач вместе с BotHub!

Для доступа к сервису не требуется VPN, и можно использовать российскую карту.

Два взгляда на одну проблему

Когда в 2024 году Колорадо принял первый в США комплексный закон об искусственном интеллекте, законодатели выделили «высокорисковые» сферы - здравоохранение, жилье, образование, трудоустройство - и запретили «алгоритмическую дискриминацию». Закон прямо определяет ее как «незаконное различие в обращении или последствиях, неблагоприятное для людей по защищенным признакам».

Европейский закон об ИИ идет схожим путем. Статья 10 требует проверять системы на «предвзятости, способные повлиять на здоровье и безопасность людей, негативно отразиться на основных правах или привести к дискриминации, запрещенной законодательством Союза». Более того, закон разрешает обрабатывать чувствительные данные - расу, этничность, пол - «ровно в той мере, в какой это строго необходимо для обнаружения и исправления предвзятости».

Оба закона признают фундаментальный факт: в отличие от людей, системы ИИ не имеют отношения к выносимым суждениям. Они учатся на данных и делают любые выводы, которые эти данные позволяют, - независимо от того, предвидели мы их или нет, одобрили бы или ужаснулись. Машины способны воспроизводить человеческую предвзятость, сами не будучи предвзятыми.

«Я не вижу цвета»

Техасский закон о надлежащем управлении ИИ предлагает радикально иной подход. Он запрещает только те системы, которые созданы «с единственным намерением» дискриминировать. Более того, закон прямо указывает: «одного лишь различия в последствиях недостаточно, чтобы доказать намерение».

Иными словами, недостаточно показать, что система явно дискриминирует по расе или полу. Нужно доказать, что ее спроектировали именно для этого - и ни для чего другого.

На практике такой закон пропустит подавляющее большинство случаев алгоритмической предвзятости, потому что доказать намерение почти невозможно. Возможно, в этом и был замысел.

В январе 2025 года президент Трамп издал указ «О предотвращении "вок"-ИИ в федеральном правительстве», запрещающий госагентствам закупать системы, содержащие «идеологические предубеждения или социальные программы» - в частности, инициативы по разнообразию, равенству и инклюзивности (DEI).

Но что считать DEI в модели? Согласно указу, система «вок», если она: подавляет или искажает фактическую информацию о расе или поле; манипулирует расовым или половым представительством в результатах; включает концепции критической расовой теории, трансгендерности, бессознательной предвзятости, интерсекциональности, системного расизма; дискриминирует по расе или полу.

Заметьте противоречие. Международная компания, соблюдающая европейские нормы, будет тестировать свои системы на скрытую предвзятость и корректировать параметры, чтобы избежать дискриминационных результатов. Но в США те же самые усилия могут квалифицироваться как «манипуляция расовым или половым представительством» или «внедрение концепций бессознательной предвзятости и системного расизма».

Слепой ведет слепого

Как мы оказались в таком тупике? И американские, и европейские власти декларируют неприятие дискриминации - но приходят к противоположным выводам о том, как ее выявлять и устранять в системах ИИ.

Ответ кроется в давнем споре, который предшествует нынешним культурным войнам вокруг DEI и «вокизма». На протяжении десятилетий консервативные мыслители, включая председателя Верховного суда Джона Робертса, утверждали: «Способ прекратить дискриминацию по расе - перестать дискриминировать по расе». Они предлагают сосредоточиться исключительно на намерениях и полагают, что любые сознательные попытки избежать расовой дискриминации неизбежно порождают новые проблемы.

Левые возражают: между тем, что мы намеревались при создании законов и институтов, и тем, какие результаты они дают на практике, - пропасть. Дорога в антиутопию вымощена благими намерениями, а притворство не создает равных возможностей. Поэтому либералы допускают учет расы «в той мере, в какой это строго необходимо для обнаружения и исправления предвзятости» - как лаконично сформулировал европейский закон.

Долгое время в американской судебной практике существовало разделение: иски о нарушении конституционных гарантий равной защиты требовали доказательства намеренной дискриминации, тогда как дела по Разделу VII Закона о гражданских правах допускали аргумент о «различии в последствиях». Но консервативные политики и судьи последовательно стирают это различие, оставляя лишь намерение как основание для претензий.

Этим объясняется, почему Техас и администрация Трампа стремятся изгнать концепцию disparate impact из регулирования ИИ.

Зеркало, которое не видит отражения

Проблема в том, что практически никто не создает расистский или сексистский ИИ намеренно. Большинство разработчиков искренне стремятся сделать полезный, объективный инструмент, который работает как заявлено - именно этого хотят клиенты.

Сам ИИ, судя по всему, ничего «не хочет» - он лишь воспроизводит паттерны прошлого человеческого поведения. Он держит зеркало перед человечеством, не замечая и не понимая, когда люди вели себя дурно. Результат - явно дискриминационные решения без явного виновника и без защиты для тех, кого эти решения задели.

Урок для всех нас

Самое примечательное в этой ситуации - как она обнажает проблему узкого запрета только намеренной дискриминации, причем не только применительно к ИИ.

Как бы мы ни гордились способностью понимать и корректировать собственные суждения, правда в том, что мы часто не осознаем, как нас сформировали прежние человеческие паттерны и предубеждения. Машинное обучение копирует человеческие предположения и поведение, принимая за норму то, что распространено, - точно так же, как дети копируют родителей, сверстников и общество вокруг.

Теория «различий в последствиях» разрывает этот порочный круг - в отличие от подхода, сфокусированного лишь на намерениях. Она отвергает субъективный анализ ментальных состояний и смотрит на измеримые результаты. Для систем ИИ, у которых, вероятно, нет «ментальных состояний» в нашем понимании, disparate impact - единственный осмысленный способ оценить предвзятость.

Но для правых «disparate impact» звучит как синоним «вокизма» или DEI. Это ложное отождествление мешает понять, почему доказать намеренную дискриминацию в ИИ практически невозможно.

Левые давно спорят с правыми о «цветовой слепоте». Мы все видим расу и учитываем ее - пусть даже бессознательно. Минимум, что мы можем сделать, - осознанно учитывать эти факторы, чтобы снизить вред и продвинуть равенство.

Это в полной мере относится и к ИИ. Можно приказать модели игнорировать расу и пол - но это не помешает ей вывести эти категории самостоятельно. И когда это происходит, заявление «мы не видим цвета» не оправдывает использование предвзятых инструментов с безрассудным пренебрежением к их изъянам.