Проблема не столько в тишине, сколько в том, что человек остаётся наедине с собственными мыслями. К этому же постепенно ведёт и банальное одиночество (в смысле отсутствие социализации, обратной связи от других людей).
Конечно же, разные люди сходят с ума в одиночестве с разной скоростью. Чем больше ошибок в своих размышлениях они допускают, тем быстрее отрываются от реальности.