Кажется, что почти любой вопрос про искусственный интеллект слишком спекулятивен, т.к. под этим термином часто подразумевают целый комплекс разнообразных концепций и технологий. Чтобы избежать этого, я намеренно буду говорить только об одном элементе, который часто фигурирует в СМИ как «искусственный интеллект», а именно о предсказательных системах и различных аналитических помощниках, работающих благодаря сбору больших данных (историю термина и его толкований можно посмотрите здесь). Это могут быть и системы, анализирующие потенциальных кандидатов при найме сотрудников, и поисковые технологии, и комплексы прогнозирования рецидива совершения преступления после освобождения заключённого из колонии, и многое другое.
Результатом такой алгоритмической сортировки становится то, что одни получают преимущества при получении кредита, а другие ̶ нет; какому-то из преступников могут сократить срок тюремного заключения по неочевидным причинам, а человеку со схожим профилем, который может лишь незначительно отличаться от предыдущего – нет.
Таким образом, у систем выделяют два блока проблем. Первые из них – философско-концептуальные. Проиллюстрирую это на примере судебной системы. Огрубляя, общая логика выяснения вины преступника строится от того, что именно сделал индивид (what we do). Предсказательные системы же оценивают множество параметров для вынесения решения о виновности и в результате выносят его на основе того, какими качествами обладает человек в целом (who we are).
Получаются два, подчас противоречивых, подхода. Некоторые исследователи сводят это противоречие к противостоянию между принципами справедливости и эффективности (fairness and efficacy). В результате встает одна из многочисленных дилемм алгоритмов – где выстроить границу между этими приниципами? Одним из возможных решений, при котором концепции перестают быть противоречивыми, может являться тотальная просматриваемость частной жизни индивида, когда алгоритм сможет полностью взвесить все условия каждого конкретного кейса (поскольку у него будет на это намного больше данных, чем используется сейчас). Однако в таком случае встает вторая дилемма – готовы ли мы ради безопасности пожертвовать своим приватным пространством (примеры многочисленных дебатов по этому поводу можно прочесть здесь и здесь).
Второй блок проблем вытекают из практики правоприменения, которая рождается в результате введения предсказательных систем. В это плоскости можно наблюдать также две необычные линии неравенства.
С одной стороны, полицейская работа с применение новых технологий становится более ориентированной на бедные районы, что создает т.н. «петлю обратной причинности» (feedback loop). Это явление, когда изначально большее количество данных о каком-то районе (чаще всего с повышенной криминальной активностью) приводит к назначению на его патрулирование большего числа полицейских, которые (поскольку им нужно выполнять отчетность) создают ещё больше данных о криминальных событиях в этом районе, что замыкает круг. Профессор MIT Гэри Маркс описал работу таких петель как «категорическую подозрительность» («categorical suspicion») – заведомо подозрительное отношение офицера ко всем жителям районов, которые были отмечены технологией как опасные.
С другой стороны, повышенное внимание полицейских к бедным районам приводит к тому, что у полицейских остается меньше сил и времени для патрулирования и работы в кварталах среднего и частично высшего класса. В результате их жители получают меньшее количество услуг безопасности, хотя (в случае США) именно они во многом и поддерживают их работу через уплату налогов в бюджет.
Многочисленной критике также подвергается и расовый уклон функционирования таких систем. Например, в одном из исследований, проведённых в 2018 г., авторы сравнивали результаты системы предсказания рецидивов преступности COMPAS с ответами пользователей одной из краудсорсинговых платформ на вопросы о том, совершит ли тот или иной заключённый преступление в будущем или нет. Несмотря на то, что пользователи обладали меньшим количеством данных и не имели профессиональной подготовки, они, во-первых смогли показать результаты, сопоставимые с многомилионной по стоимости программой, но и во-вторых, также проявили расовую предвзятость в предсказаниях, неоправданно много классифицируя афроамериканцев как потенциальных рецидивистов, а «белых» как законопослушных граждан.
Accuracy – процент точно предсказанных рецидивов, False positive – процент ложноположительных предсказаний (рецидив был предсказан, но он не случился), False negative - процент ложноотрицательных предсказаний (рецидив случился, но он не был предсказан). Human – предсказание пользователей с одной из крауд-сорсинговых платформ, COMPAS – предсказание специализированной программы. Белые столбики – «белые» подозреваемые. Черные столбики – подозреваемые «афроамериканцы».
Важно учесть, всё описанные выше примеры свойственны для стран Западной Европы и США. В России мы все ещё мало знаем о том, как практически работают такие системы, и публикации на эти темы только предстоит прочесть.