На мой взгляд, настоящий ИИ будет отличать от обычной программы тяга к познанию мира. Всё, что мы имеем сейчас это сложные алгоритмы, созданные людьми с конкретной целью - просто инструмент, да очень сложная, но всё-равно программа. Возьмём для примера существующие нейросети, есть сеть, которая пишет картины, есть, которая пишет книги. Вся их проблема в том, что в них нет желания учиться чему-то вне рамок заданной человеком области знаний. Если, нейросеть, пишущая картины, вдруг создаст книгу, или модель будущего архитектурного сооружения, или новую экономическую модель, то есть выйдет за рамки заложенной человеком программы без его на то воли, вот тогда можно начать говорить о создании настоящего ИИ, имеющего реальный разум (интеллект?).
Вот только нужен ли человеку такой разумный ИИ? Уже моральную сторону в ответах затронули, не нужно ли будет считать такой ИИ полноценной личностью со всеми присущими ей правами? Хотя это уже тема для другого вопроса.
Глядя на некоторые малоизвестные разработки военного назначения - существует. Зачастую превосходит человеческий в узко взятой области. ИИ уже быстрее и точнее человечачьего мозга.
Вопрос в том, что Вы называете искусственным интеллектом? Если развивать этот вопрос, мы скорее всего забредем в философию и рано, или поздно придем к проблеме свободы воли.