Если объяснить по простому, то дело в том, что большинству не нравится гопнический стиль поведения. Гопников, конечно, не любят любых - вне зависимости от происхождения. Но практика показывает, что среди кавказской молодёжи шансы встретить такое поведение выше на порядок. Поэтому принадлежность к "кавказцам" - маркер, указывающий на высокую вероятность (далеко не стопроцентную, конечно, но достаточно высокую) принадлежности к гопникам. Видимо, это связано с какими-то особенностями мужской социализации на Кавказе.
Отсюда и отношение.
У них другой характер, другое поведение. Они не хотят встроиться в наше общество, им хочется рулить. Вряд ли это может вызывать симпатию у русских.
Как сказал мой знакомый - один кавказец - лучший друг, самый отзывчивый товарищ, самый добрый, самый весёлый, самый умный, просто идеальный во всех отношениях. Два кавказца - преступная группировка...