Само выражение конечно привычное, и никто не использует его в целях оскорбления чернокожих. Но так как в наше время слишком быстро меняются нормы в этом вопросе, и людей могут привлечь за то что всегда было обычным, то скоро может попасть под запрет и это выражение.
Кто-нибудь напишет это выражение в Вконтакте, печально известном возбуждаемыми уголовными делами за репосты и картинки. Другой на него пожалуется. И в итоге мы получим первое, и очередное глупое уголовное дело за эту фразу...
Нельзя считать его расистским, так как здесь имеется ввиду не цвет кожи, а понятия "черный люд" и "белый люд". Черные люди - это низы, крестьяне выполнявшие самую грязную работу. А белые люди - своеобразная противоположность.
Живу в Англии, тут этим словосочетанием пользуются что бы обозначить социальный статус, наверное. Скорее всего употребленное в предложении "белый человек" будет автоматически намекать на некий расизм в продолжении предложения ..