Мне кажется вам нужен ответ на немного изменённый вопрос. Про не смущало вам уже ответили в общем то, то что так сложилось и так привыкли и поэтому так было нормально и не смущало.
Но вопрос вероятно должен звучать так "почему так сложилось", а не просто "почему не смущало". И ответ вероятно таков что группа доминантных или просто сильных используют свою силу в качестве собственной прерогативы. Раса белых людей в целом была более развита и имела численное преимущество, так же ранее не были так развиты моральные, нравственные устои, логика их построения была более примитивна. Группа более сильных имеет власть и богатства, так было всегда и на данный момент это тоже сохраняется, но в меньшей степени и имеет более современную структуру. Теперь силой является не только физическая, военная сила, а интеллект и качества человека которые позволяют удачно приспособиться к социуму. И сейчас принято решать вопросы уже не силой и сила уходит на второй план, в связи с этим женщина имеет такой же статус как мужчина, а негры такой же как и белые, по крайней мере по большому счёту это так и есть. Сейчас другие ценности и поэтому власть и деньги получают те кто активны и лучше приспособлены к социуму, прочие интеллектуальные способности так же имеют значение. Права и свободы просто из логики того что появилась идея, что физическая сила не должна давать дополнительные преимущества решили сделать равными для всех. Вероятно общество стало более рациональным, справедливым, поэтому сейчас не так как раньше, некие эволюционные процессы общего разума произошли.