Потому что неосознанно для других он становится как бы предателем - предал, бросил коллектив - и, соответственно, слегка прокаженным, изгоем. Так и или иначе, но он уже не воспринимается, как член коллектива, он иной, чужой, с которым лучше не контактировать.