Скажите ему, что вам не нравится такое поведение и неприятно, когда он обрывает разговор таким способом. Может, до него так дойдет, что это ненормальное поведение.
Манера кидать трубку говорит о плохом воспитании человека. Если вы готовы с этим мириться, просто оставляйте такие эпизоды без внимания. Но в то же время подумайте, не провоцируете ли вы его на скандалы.