В тот момент, когда появится именно самообучающийся алгоритм, мы начнём с ним воевать. В прямом смысле слова, просто за место под Солнцем.
Сделать самообучающимся его можно только в случае, если он сможет оценивать "хорошо-плохо", иначе - никак. Для этого необходимо, чтобы у него для начала были органы чувств, чтобы он смог оценить температуру "горячо-холодно", фактуру, структуру, текстуру и т.д. и т.п. То есть, объяснить, что такое "острое" нельзя, если нет понятия прикосновения. Абстрактно загнать в компьютер можно. Но чтобы оценить что-то, нужен эталон, например, эталон температуры, чтобы сказать "горячо", "тепло", "холодно" или "нормально". Вот это самое "нормально" - это как раз в пределах некоторого диапазона температур, плюс-минус сколько-то от эталона температуры. И кожа нам даёт оценку, сразу, потому что если слишком горячо - ожог, боль, и если холодно - тоже больно, но не ожог, по-другому больно. Да, есть такой эффект, что слишком ледяное кажется очень горячим - это называется выход за предельный диапазон, или допустимый диапазон, или разрешённый диапазон.
Есть боль, но может приятно и быть. И в принципе, если ИИ будет оперировать этим понятиями, то этого ещё будет недостаточно, но уже будет некоторый фундамент для анализа.
Вообще, всё в конце концов упирается в то, что программа не способна на самостоятельные действия. И даже если ей дать тело, и сердце, совесть, то этого мало. Больше скажу, дать душу не достаточно.
К сожалению, чтобы дать возможность самообучаться, надо дать возможность саморазвиваться, а усложнять свою структуру до бесконечности не получится. По крайней мере, если мы говорим о каких-то конечных вещах. У программы нет импульса, который заставит её действовать, и всё. Пока этого нет, она будет вести себя, как машина на автопилоте, но без водителя. Себе она не нужна. Едет только туда, куда запрограммировали, и в лучшем случае довезёт пассажиров с их багажом, но не более. Программа может быть сложнейшей, и машина может хоть летать, хоть плавать, хоть телепортироваться, а суть останется той же самой.