Все просто.
Раздражают не феминитивы.
Раздражаются люди.
Причина раздражения феминитивами -… даже гадать не буду.
Но можем поговорить об этом!
А если серьезно - то есть устоявшиеся словообразования, которые приемлимы для большинства.
По традиции приемлемы - других объяснений нет.
А есть попытки введения новояза или изменения традиционного звучания тех или иных слов, в попытке придать им "женский род".
И нарушение устоявшихся традиций и правил - может раздражать.
Точно так же, как и любое письмо с ошибками - может раздражать, т.к. выполнено против правил и против традиций.