Потому что такие люди непонятны другим: непонятно, что молчаливый человек думает, какое у него мнение о чем-то, и в целом непонятно - что от него ожидать. Все это создает внутреннюю настороженность в отношении молчаливого человека.
Лишь когда есть возможность узнать такого человека ближе и лучше, то может выстраиваться коммуникация с ним.
Ну, и еще вариант: с таким молчаливым человеком может быть просто не интересно.