Главное, не вступать в открытый конфликт. Как у Марка Твена - не спорьте с идиотами.
Вы- взрослый человек, участвовать в разборках- удел 13-летних.
Не встречайтесь с этими людьми. Не идите на открытый диалог, если он не начинается с ваших слов «не веди себя так со мной». Вот и все. Это уже дело Вашего парня, почему он позволяет такое (прежде всего в свой адрес, так как Вы, как партнёр, его логическое продолжение в его окружении).
Удачи, и, прошу, не поддавайтесь на провокации. Но и открытого хамства не терпите. Любите сначала себя, а потом всех остальных.
По опыту говорю.