Если вы слушаете в режиме mono, то разницы не будет никакой.
Если говорить о стерео, то разница будет ощутимой.
Как уже отмечалось, в компьютерных играх это может отразиться на звуковой ориентации в пространстве - где-то это будет критично, где-то не очень.
Если говорить в контексте музыки, то тут чуть сложнее картина. Профессиональные музыканты не только выравнивают звуковые дорожки инструментов по уровню громкости, но еще и задают, на каком канале должен звучать тот или иной инструмент. Можете поэкспериментировать и включить несколько песен зарубежных рок-групп - уверяю, слушая попеременно левый и правый канал, вы ощутите разницу).
безотносительно стереоэффектов разница в нашниках возможна даже в моно, поскольку динамики могут иметь разную чувствительность и характеристики, так что один канал в итоге будет звучать чуть громче, глуше, звонче