Думаю, основная причина заключается в том, что когда то на уровне бессознательного у человека сложилась связь: звонок= негативный разговор. Например, человеку часто названивали, навязывали услуги, либо коллекторы ,недовольные клиенты ну и так далее.
Фишка еще в том, что чаще всего большинство людей настроены негативно. Телефонный звонок это просто ноль, то есть не плохо ни хорошо. И становится он + или - в нашем сознании, и часто это происходит бессознательно, не успели мы подумать, а уже лезут какие то"темненькие мыслышки".