Привет! Вопрос не совсем корректный. Машинное обучение и ИИ нельзя взломать в прямом смысле этого слова. Но можно испортить алгоритмы работы, если добавить заведомо неправильные датасеты.
Например, если нейросеть обучать распознавать лица людей и добавить туда датасет с обезьянами, которые размечены как люди, то машина может на первых порах распознавать обезьян как людей.
Но добавить такой датасет незаметно — это что-то из рода фантастики. Ведь датасеты имеют порой терабайтные объёмы, а обучение требует большого количества облачных ресурсов, GPU и т. п. Заметят сразу.
Кроме того, существует такое понятие, как дообучение, переобучение, тестовые выборки. Если разработчики видят странную закономерность, они создают новые наборы данных, которые избавят машину от ошибок. Если есть явные проблемы, обучение могут приостановить, чтобы изучить вводные данные и внести изменение в процесс обучения.
Да, нейросеть — это такая чёрная коробочка, в которую мы на входе кладём данные, а на выходе получаем какой-то готовый результат. Но залезть в эту коробочку и испортить её — что-то нереальное.