Версия, которая известна мне, достаточно прозаична: несовершенство технологий.
Освоение острова требовало установления с ним регулярного сообщения, проще говоря, нужно как-то на него в нужное время попасть и вовремя уйти (а с этим и сейчас проблемы есть). Изначально для этого использовали паромные переправы, затем были сооружены понтонные переправы. Ни те, ни другие не годятся для регулярного сообщения, поскольку чувствительны к природным капризам, а построить мост не позволяло отсутствие инженерных знаний в области строительства подобных мостов (кажется, проблема была в том, что мостовые опоры требовалось установить намного глубже, чем в то время умели).
Смотря на Архитектурный план Петербурга,сразу видно что Васильевский остров самый уязвимый к атаке с моря,что и послужило причиной переноса центра Петровского "Парадиса" .