Долго переписываться не надо, а переписка нужна для выяснения основных черт характера и интересов, а далее непременно встречаться. Хорошо, что только голос. А вдруг там усы?
Что бы сделал? Если мне приятно с этим человеком общаться и есть такое желание, то я бы привык к его голосу и общался бы дальше, потому что на мой взгляд это сомнительный повод для прекращения общения.