Добавлю к предыдущим ответам тот момент , что это выражение появилось тогда , когда на телефонные разговоры не было бесплатных/безлимитных тарифов (да и мобилок не было), и если разговор предполагал какое-то обдумывание, размышления, или мысли трудно было изложить лаконично, то предпочтительней было обсудить вопрос при личной встрече. Так же если вам надо убедить собеседника в чем-то , то неизвестно сколько это времени займет , потому и говорили "не по телефону". В общем со словами Виктора "только одно" я не согласен.