Потому и тянутся, что человек мало общается, а значит о нем мало известно, а людей привлекает эта некая таинственность, возникает желание больше о нем узнать, разгадать эту загадку))) Кроме того, молчаливый человек может производить впечатление умного и серьезного, а значит, интересного человека.
Еще есть такой вариант: когда ты интроверт, многим людям (как правило, экстравертам) непонятно твое поведение. Им кажется, что тебе одиноко, грустно, и тебе нужно помочь с общением, подружиться и т.д.