Отдаляйся от него на столько, на сколько можешь. Не пытайся его поменять, особенно, если он старше тебя. Игнорь его и сократи взаимодействие с ним до необходимого минимума. Старайся избегать его и обходить всякую его помощь стороной.
У меня так с отцом было. Он жутко меня бесил, пока я был малой и вынужден был жить с родителями. Я просто по совету Славного Друже Обломова сократил с ним взаемодействие к минимуму. Получилось настолько хорошо, что я сейчас счастлив на счет этого: общались раз в месяц. Сейчас вообще не общаемся, уже полгода прошло после последнего звонка ему(да, я ху**й сын, но он как отец не лучше, я не могу уважать такого человека).
Нужно проработать личные границы. Раздражают те, кто их нарушает. Если от сторонних людей можно сбежать, то от близких никуда не денешься и границы выстраивать и оборонять с ними куда сложнее. Но без этого никак.