Не можете перестать общаться сами или вам приходится общаться (допустим, по работе)?
Если общение вынужденное, то можно перевести его в рамки формального - только по делу, ничего личного.
Если Вы сами не можете прекратить общение, то здесь надо разбираться в причинах. Почему у Вас такая зависимость от этого человека.
А, возможно, он раздражает Вас временно, как Вы написали, под влиянием некоторых событий. Эмоции со временем улягутся, и Вы по-другому будете смотреть на этого человека. Надо просто переждать.
"Не могу перестать..." - Что мешает? Или кто? Это надо выяснить прежде всего, со всей серьезностью и ответственностью.
А когда выясните, тогда легко сумеете оценить варианты дальнейших действий.