Потому что колонизаторы их так называли, и это оскомина из прошлого. Если человек с нордической внешностью увидит еврея и прорычит сквозь зубы "жидяра" то это тоже будет считаться расизмом. Почему? Холокост.
Кем будет считаться расизмом если Соловьева-Петушкова-Шаприо назвать жидярой?