В вашем вопросе Вы уже говорите про границы. Могу предположить, что Вы уже знаете их. Осталось сообщить о них мужу.
Для полной ясности предлагаю описать эти границы на листике. А дальше Вам останется только договориться с мужем о соблюдении этих границ.
Разговаривать с ним! Почаще говорить со своим партнером и сразу объявлять когда что-то в его поведении не нравится, разбираться почему именно он повел себя так, а не иначе.