Скорее всего потому, что черный цвет всегда ассоциировался людьми с чем-то негативным. В большей степени это связано со сменой дня и ночи, ведь еще в первобытные времена ночь, а она же и темнота крыла в себе кучу опасностей.
Так и сейчас, людей, которых боятся или с которыми просто не хотят общаться, добавляют в черный список.