Для начала перестать считать его "абьзером", и выйти из позиции "жертвы". Сама постановка Вами вопроса "Каким образом не поддаваться на влияние" исходит из позиции жертвы. Как будто кто-то каким-то образом может на Вас "повлиять". И тогда Вы уже проиграли.
Но в реальности все иначе. У Вас есть воля и разум, и все, что Вы делаете и чувствуете имеет причину в Вас, а не в ком-то другом. Вы "поддаетесь влиянию" абьюзера только в случае, если сами чего-то хотите от него - повлиять на него, да еще и хотите переложить на него ответственность за себя. И принимаете его правила игры. В эту игрушку в одностороннем порядке не играют. Никто не может быть "абьюзером", если другой не подыгрывает.
Так что просто разделите границы и ответственность. Разделить границы - это не "защищаться", а понимать, где заканчиваетесь Вы и Ваша воля, и начинается другой человек и его воля, и наоборот. И каждый и вас отвечает за себя и только за себя.
В профессиональных отношениях это гораздо проще, чем в личных. Достаточно оставаться в позиции "Взрослого" (см. трансактный анализ), то есть в рамках исключительно дела, не ввязываясь ни в какие не-деловые вопросы. В отношениях Взрослый-Взрослый никакому просто абьюзу нет места.