Как держать человека, который меня, мягко говоря, раздражает, как можно дальше, при этом не ввязываясь в какие либо конфликты с ним?

Если вопрос "как держать подальше", то ответ очевиден: избегать контактов, посещения общих территорий, сменить номер телефона, заблокировать в соцсетях, не принимать приглашения контактировать и тп. Можно еще сменить место жительства вплоть до страны. В общем, по максимуму применить стратегию избегания.

Другое дело, что все это не будет эффективным, если человек имеет противоположные намерения, которые будет стараться реализовать. Да даже если просто не подозревает о вашем отношении и просто живет с вами в одном городе. Гораздо полезнее будет разобраться со своими чувствами к нему и обучиться разным способам взаимодействия с людьми, а не только избеганию.