Потому что «высылка за границу» официально называется депортацией, то есть принудительным переселением из пусть во многом не устраивающего, но все же обжитого и привычного места, от родных и близких — неизвестно куда. Это ведь совсем не идентично «хотел, взял да и поехал».
К депортации прилагался репрессионный набор: лишение советского гражданства и бессрочный запрет на въезд в СССР. Если вспомнить о том, что из СССР по желанию могли выезжать за рубеж лишь считанные единицы граждан, и учесть, что единственным средством связи были почта и телефон (а письма плохо доходили и читались спецслужбами, а звонки были далеко не всегда доступны, до́роги и прослушивались), то высылка за границу для высылаемого была не удовлетворением желания уехать, а «маленькой смертью».
Кроме того, высылались обычно творческие интеллигенты, чья основная аудитория (читатели, зрители, слушатели) оставалась в СССР, и никакого желания «убежать» они не испытывали.
Добавлю также, что высылка в позднем СССР имела своей целью не столько наказание высылаемого, сколько устранение его "вредоносного" влияния на советское общество.
В дополнение к вышеприведенному ответу можно дать ссылку на известное письмо Бродского Брежневу, где в последних абзацах он практически умоляет не запрещать его имя и произведения: diary.ru