Потому что приезжие - это, в первую очередь дешевая рабсила. Они сбивают цены на рынке труда и оставляют местных без работы. По сути,поощряют эксплуатацию и беззакония со стороны работодателя в отношении работника. К тому же, параллельно всегда процветает нелегальный рынок труда, а это уже рассадник банального криминала.
Дешевая рабсила - это современный эквивалент рабовладельческого строя. Такое явление несет много социальных последствий для государства: порождения люмпен-пролетариата в более развитых странах и усиление олигархии (Скандинавия, Германия); и порождение нищеты и преступности , с тем же усилением олигархии, в менее развитых странах (Россия, Прибалтика).