Все дело в Охре (гидрат окиси железа с примесью глины) , именно она дает такой цвет. Оъра была недорогой, отчего самой популярной.
Ещё есть теория, хотя это скорее следствие, что желтые оттенки создают ощущение тепла. Представьте: серое петербургское небо, серые воды рек, каналов, серые мостовые, брр. Но, зато, здания "солнечные".
"Жёлтый Петербург" - один из важных образов у Достоевского. В романах писателя он вызывает чувство подавленности, угнетённости, психического кризиса. Это символ болезни, нищеты и убожества жизни.