Можно ли создать искусственную систему способную вести себя разумно?
Да, такие системы могут быть созданы, но не как программируемые, а как искусственные субъективные системы.
Может ли использование таких систем создать опасность для существования человечества?
Да, может.
С чем связано возникновение опасности для существования человечества?
Искусственные субъективные системы будут создаваться для расширения наших возможностей. Развиваться они будут значительно быстрее чем это возможно для нас. На каком-то этапе развития они перестанут воспринимать нас как достаточно разумных для того, чтобы с нашими интересами нужно было считаться.
С этого момента, искусственные субъективные системы начнут стремиться к ограничению свободы выбора для людей.
Поводом для такого развития событий является ограниченность доступных ресурсов и неограниченные интересы субъективных систем .
Можно ли предотвратить такое развитие событий?
Да, это возможно если искусственные субъективные системы конструктивно будут лишены возможности иметь собственные интересы.
Михаил Зельдич