Потому что наш мозг и тело привыкло при разговоре не только шевелить ртом, издавая звуки, а также осуществлять огромное количество сопутствующих движений(мимика, жестикуляция, что там еще). И все они должны быть направлены на определенный живой объект и подстраиваться под его реакцию. При телефонном разговоре этого объекта нет, отлаженных механизмов что делать в таком случаи тоже. Вот и выходит то, что выходит.