Я думаю что проблема не в длине паузы, а в Вашем поведении, стоит рассмотреть именно этот аспект, так как если с человеком приятно общаться и интересно, то остаётся хорошее воспоминание и подсознательно ты всегда готов и хочешь с ним общаться и встречаться.
А если человек не приятен, то общение через силу оставляет след негатива и он воспримется при любой паузе "Опять появился, что ему там не сиделось?"....