Трудно сказать. Всё же если голос показался вам настолько отвратительным, вы вряд ли будете готовы терпеть его всё время, если скажем отношения будут, и зайдут далеко. Если представить что таким голосом с вами будут ругаться, высказывать претензии - наверное это будет не так просто вынести)
Долго переписываться не надо, а переписка нужна для выяснения основных черт характера и интересов, а далее непременно встречаться. Хорошо, что только голос. А вдруг там усы?
Что бы сделал? Если мне приятно с этим человеком общаться и есть такое желание, то я бы привык к его голосу и общался бы дальше, потому что на мой взгляд это сомнительный повод для прекращения общения.