Поскольку нет никаких особенных экспертов по расизму, ответом на этот вопрос может быть только личное мнение. Мое мнение таково, что это, конечно, расистское выражение. Его используют в значении «сделать что-то нормально», что подразумевает, что быть небелым — это ненормально.
Можно спорить о том, насколько опасен такой «маленький» и, скорее всего, неосознанный расизм в повседневном языке и стоит ли тратить силы на борьбу с ним, но от этого он не перестает быть расизмом (хотя — повторюсь — скорее всего, неосознанным).
Нельзя считать его расистским, так как здесь имеется ввиду не цвет кожи, а понятия "черный люд" и "белый люд". Черные люди - это низы, крестьяне выполнявшие самую грязную работу. А белые люди - своеобразная противоположность.
Живу в Англии, тут этим словосочетанием пользуются что бы обозначить социальный статус, наверное. Скорее всего употребленное в предложении "белый человек" будет автоматически намекать на некий расизм в продолжении предложения ..