Здесь вопрос на самом деле в другом появится ли когда-нибудь Искусственный разум в принципе. Пока предпосылок и достижений в этой области нет. Так называемый ИИ на данный момент это не более чем алгоритм, никаким зачатками или принципами разумности он не обладает, так как разум это больше про психику, биологические инстинкты. Разум не разрывно связан со средой, представьте что в родились в вакууме и подумайте будет ли у вас желание кого-то уничтожать.
Вот и ответ любой алгоритм находится вне среды обитания человека в информационном вакууме. Дать объяснения о нашей среде ему можно, но у него не будет никакой мотивации её как-то использовать, так как нет эволюционного опыта жизни в этой среде.
Поэтому все ИИ на сегодня по сути алгоритмы в вакууме имитирующие логику живого человека. Конечно, если дать программе доступ к ядерным боеголовкам, то уже в зависимости от заложенной логики она и сработает, вполне возможно на уничтожение человека.