Я бы выяснил, какие ещё достоинства есть у этого человека, которые уравновешивают его неприятный голос.
Рекс Стуут описывает ситуацию, когда муж уходил от жены 4 раза из-за её мерзкого характера, но всякий раз возвращался обратно из-за её фантастических кулинарных талантов.
Долго переписываться не надо, а переписка нужна для выяснения основных черт характера и интересов, а далее непременно встречаться. Хорошо, что только голос. А вдруг там усы?
Что бы сделал? Если мне приятно с этим человеком общаться и есть такое желание, то я бы привык к его голосу и общался бы дальше, потому что на мой взгляд это сомнительный повод для прекращения общения.