Да, особенно если вы её "утрамбовываете", например, ватными палочками. Я лично сам с этим сталкивался: ощущение такое-же, как набрать в ухо воды, не особо приятно. Но благо это всё легко промывается в больницах. Поэтому если вы думаете, что ваш слух ухудшился из-за серы, то сходите в больницу и промойте уши.
Возможно временное ухудшение слуха по причине нарушения звукопроведения. Это наблюдается при большом количестве серы или при попадании воды в ухо после водных процедур (сера впитывает воду, разбухает, слух ухудшается).