Зачем с ними общаться? Если эта необходимость не продиктована рабочей необходимостью, например, то можно смело прекращать общение.
Если с такими людьми Вы связаны рабочими отношениями, сводите общение к минимуму, общайтесь только по рабочим вопросам. Если есть возможность, уходите от личного общения в почтовую переписку. Так будет легче отфильтровывать эмоции и формулировать рабочую задачу.