Думаю, дело в стереотипах, связанных с черным цветом в одежде. Например, о том, что черный стройнит. В отдельных случаях, это так и есть, но дело не столько в цвете, сколько в сочетании опредленного кроя, формы, модели и цвета с вашей внешностью.
Также, думаю, это может быть связано с тем, что базовые цвета (черный, белый, бежевый) проще сочетать, не имея навыков в стиле. К нему подходят любые остальные оттенки и цвета , но в отличие от белого и бежевого - черный более практичен в носке