Сама идея того, что вы обозначаете границы в отношениях хороша. Такая вот цена отношений с вами и человек либо соглашается, либо отказывается, либо вы как-то договариваетесь. И как бы то, что и как вы описали не похоже на тиранию и абьюз.
Возможно, именно то, как вы обозначаете границы допустимого (форма, способ) вызывает такую реакцию. Про это надо разбираться и учиться делать по другому. А возможно, вы бессознательно выбираете именно таких людей которые будут так реагировать и обвинять вас и это уже точно запрос на работу с психологом (в группе или индивидуально).