Просто получится, что вы к изначально расчетному источнику звука на звуковой картинке повернулись спиной.
Еще бывает, что наушники разной формы, повторяющей форму уха. С некоторыми наушниками бывает неудобно, когда левый наушник вставляешь в правое ухо)
В некоторых композициях панорамирование играет важную роль. Но, если музыкальные вкусы включают в себя не суперсложный пост-прог-нео- нойз-авангард-индастриалгейз, а группу Грибы, то особого смысла в соблюдении лева-права нет.
Индастриалгейз? Хех, ябпослушал.