Я думаю это связанно с тем что он не привычен для нас, так как у себя же в голове мы воспринимаем его по другому (это же, кстати, касается и внешности). И именно из-за непривычности звучания своего голоса он кажется нам таки раздражительным.
Все дело в физике и восприятии звуковых волн. На этот вопрос круто и доходчиво ответил логопед и профессиональный постановщик голоса голливудских актёров, Нельсон Воган: factroom.ru
где ответ на вопрос ?