Риски использования систем искусственного интеллекта
Для оценки безопасности информационной системы (ИС) специалистами используется риск-ориентированный подход. Согласно этому подходу интеллектуальные системы могут иметь риски в сфере обработки персональных данных по следующим пунктам:
1. Избыточная обработка персональных данных, инициированная для достижения легальной цели. Пристальное внимание со стороны надзора вызывает применение искусственного интеллекта для определения кредитоспособности клиента финансовой организации.
2. Ошибочная идентификация пользователя при удалённой обработке биометрических персональных данных. В этой сфере оцениваются уязвимости интеллектуальных систем при воздействии на них с помощью искусственной имитации внешности пользователя - дипфейк (deepfake).
3. Профилирование и агрегация персональных данных. Социальные сети, развлекательные сервисы, представляющие собой цифровую экосистему, могут накапливать большие объёмы персональных сведений о жизнедеятельности каждого пользователя, об их личных предпочтениях, взглядах, здоровье, отношениях в семье и другую информацию. В случаях, когда система научилась распознавать пользователя по его поведенческим факторам, может происходить идентификация даже тех случаях, когда пользователь выступает на партнёрских сервисах под псевдонимом или анонимно. Такое профилирование данных может нарушать права и свободы человека.
Сама по себе агрегация данных о пользователе для улучшения взаимодействия с партнёрскими сервисами не является опасной, но при достаточном накоплении личных сведений из разных источников система может стать привлекательной для вторжения в неё злоумышленников с целью создания утечки данных. Поэтому агрегирующие сервисы обязаны своевременно повышать уровень безопасности всех задействованных систем. Требуемое усиление безопасности таких сервисов контролируют государственные надзорные органы.
4. Извлечение персональных данных из потоков обезличенной информации (деобезличивание) и получение сведений индивидуального характера из Больших данных. Процессы обезличивания персональных данных и сбор Больших данных государственных и частных коммерческих информационных систем контролируют надзорные органы во всех странах. В мировом сообществе разрабатываются современные методики контроля и законной обработки обезличенных сведений.
Интеллектуальные системы могут быть подвержены рискам манипулирования поведением
1. Изучение психологического портрета пользователя системы с целью манипулирования его подсознательными реакциями. Этой теме посвящено много современных исследований надзорных организаций в России и других стран (например, предложения Европейской комиссии). В рекомендательных документах исследовательских организаций всё чаще встречается термин "посягательство на автономию в принятии решений".
Изучение подсознательных реакций пользователя может производиться с идентификацией пользователя и обработкой его персональных данных или без персонализации. Например, "умные рекламные стенды" в общественных местах могут предложить наиболее подходящие товары или услуги после оценки эмоционального и физического состояния анонимного пользователя. Внедрение этих технологий должно обязательно контролироваться государственными органами.
2. Принятие искусственным интеллектом неверных решений и осуществление действий, которые неправильно отражают волеизъявление пользователя. В случае доверения пользователем представления его интересов интеллектуальной системе возможны отклонения в решении ИИ от истинных намерений пользователя. В недалёком будущем этот риск может стать реальным при использовании интеллектуальных систем в финансовой и юридической сфере человеческой деятельности.
3. Искажение поведения интеллектуальной системы путём вредоносного воздействия на её обучающие механизмы. Риску вредоносного воздействия может быть подвержен не только человек, но и сама интеллектуальная система. Одним из самых известных способов отклонения поведения интеллектуальной системы прошлых лет можно назвать вредоносное обучение чат-бота неправильным ответам или ругательствам. Если при вредоносном влиянии на искусственную интеллектуальную систему злоумышленники используют атакующий искусственный интеллект, то результат отклонения может оказаться существенным.
Чтобы противодействовать вышеуказанным рискам и безопасно развивать системы искусственного интеллекта Европейской комиссией были подготовлены предложения от 21.04.2021 по регламентированию применения гармонизированных правил об искусственном интеллекте и внесению изменений в законодательные акты.
читайте далее в статье "Риски использования систем искусственного интеллекта", автор Демешин С.В., 15.10.2021.
Машинное обучение+4