Проблемой это будет тогда, когда кто-нибудь от вашего расизма начнёт страдать, в т.ч. вы сами, или вы будете призывать к тому, чтобы кто-то пострадал.
Если вы просто для самого себя ставите людей выше и ниже по расовому признаку, и вроде бы ничего такого не делаете, то это может проявиться в общении. У меня подобное было много лет назад: я даже не подозревал, что считаю человека ниже остальных, но осознал это, когда вслух удивился его знаниям. Лучше, конечно, от подобного избавляться, чтобы не попадать в неудобные ситуации.
Часто бывает, что наше восприятие человека основано на его владении языком: если плохо говорит на вашем языке, тем более плохо понимает, то глуп и необразован. Он может быть доктором наук, но кажется маленьким ребёнком. И если вы постоянно видите гастарбайтеров одной национальности, которые плохо владеют вашим языком, то складывается впечатление, что все люди этой национальности глупы.
Лучше бы "ловить" себя на подобном восприятии и избавляться от него.
А ещё ваш расизм может быть проблемой, если в обществе не допускается никаких высказываний об отличии представителей разных рас.
В США был шум по поводу медикаментов, которые больше подходят людям европеоидной и негроидной рас. Называли это расизмом. Не знаю, чем дело кончилось, но надеюсь, что медицина не пошла на поводу политкорректности.
Например, у темнокожих людей, живущих в северных широтах, гораздо чаще бывает дефицит витамина D, чем у коренного населения. Утверждать это -- не расизм, это научный факт, который надо учитывать для их же блага.