Боюсь написать криво, но постараюсь не облажать. Вот несколько вариантов.
1) Своим появлением мужчины-дизайнеры вызывали когнитивный диссонанс у "работящих мужиков" (коих было большинство в 80-90ых), воспитанных на советской морали и считающих, что настоящий мужик должен работать на заводе и заниматься прочими серьезными делами, а каракули рисовать - дело бабское. Внешний вид мог соответствовать, так как чувство вкуса у людей творческих так же присутствовало, и одеваться они старались соответственно. Поэтому простые люди считали их... ну, п*дорами, в общем.
2) Сейчас многие дизайнеры подрабатывают на фрилансе. И, как и везде, среди них есть нечестные люди, которые могут и кинуть (свалить с предоплатой, завышать цену, преувеличивать свои творческие способности т.д. ). Реакция клиентов будет соответствующей ("Вот, п*дор!").
3) Всеми любимый паблик "Десигн" эту идею подхватил и не отпускает, способствуя поддержанию жизни этого мема.
Как-то так.