Наверное, перестать зависеть от него? Точнее, чаще опираться на свое мнение и нести за него ответственность. Как перестать писать мимо унитаза? Нужно писать в унитаз.
Просто не жить с ними в одной квартире, а желательно не жить с ними в одном городе. В идеале лучше жить в разных странах. Общаться не много, по минимуму.