Означает многое. Как было уже сказано, тема конспирологии ныне существует и никто не застрахован от прослушивания разговора по телефону, но подразумевать это будет либо параноик, либо диверсант. Я уверен, что это выражение родилось не в шпионских и военных кругах, дело куда проще. Телефонный разговор, грубо говоря, носит характер аудио сообщения, что никак не отражает настроения беседы: нельзя передать мимику, невербальные жесты и звуки и многое другое, что носит в себе личный диалог между людьми. К примеру, вы же не станете говорить человеку о смерти его матери по телефону, или не станете обсуждать деловую сделку на миллионы рублей. Зрительный контакт и чувство партнёра чрезвычайно важно в диалоге, поэтому: "Это не телефонный разговор".