Если душа производное работы мозга, а тот лишь сложный био-компьютер, то чем мы принципиально отличаемся от гипотетического ИИ?

Очевидное отличие в том, что наш интеллект естественный, а не искусственный.

Если мы хотим, чтобы ИИ действовал самостоятельно, не нуждаясь в постоянном руководстве с нашей стороны, он должен обладать своей волей. Проблема в том, что большинство людей до сих пор плохо представляет, что такое воля. Судя по популярности сюжетов о восстании машин, люди думают, что если сделать ИИ достаточно умным, то воля у него появится сама собой. Видимо, от сырости заведется. Вот только в живой природе воля не появляется из «чистого разума». Сам наш разум в конечном счете возник просто как надстройка над системой рефлексов, сформированных отбором. Рефлексы породили инстинкты, которые, взаимодействуя с сознанием, порождают эмоции и чувства, и взаимодействие всего этого, многократно опосредованное работой разума, формирует нашу волю. У ИИ всему этому взяться неоткуда, на то он и искусственный, что не был порожден природой. Мы должны изначально заложить в ИИ некую искусственную мотивацию, чтобы он обрел свою волю.

Хотя лично я вообще сомневаюсь, что нам нужен такой самостоятельный ИИ. Нет смысла создавать ИИ как наше повторение, есть смысл создавать его как наше продолжение. Просто дополнительные внешние мозги, как уже существующие компьютерные сети, только умнее и больше похожие на наши биологические мозги.