Понятие заботы относится к тому, что человек делает.
Понятие агрессии — к тому, как.
Агрессия — это форма.
Забота — содержание.
Поэтому одно другого не исключает. Они вполне могут быть вместе. Агрессия может быть наполнена заботой. Выражать заботу. Быть ей мотивированной. Забота — бывает агрессивной.
Как не воспринимать одно за другое?
Различать.
Вы воспринимаете эмоционально. Добавьте интеллект.
Агрессия — это нападение. Если попросту. А зачем человеку на Вас нападать? Вы ему препятствуете? Оказываете сопротивление?
Если он заботится, а Вы этого не хотите, сообщаете об этом?
Если да, а он продолжает — это агрессия.
Если нет — агрессию Вы выдумали. Скорее всего. Она может быть, но у Вас нет оснований считать её реальной — поскольку нет оснований считать его знающим о Вашем нежелании. Такой вот парадокс. То есть Ваше восприятие в таком случае ошибочно, независимо от его личной оценки и "истинных мотивов".
И наоборот, если Вы ясно дали понять своё нежелание, заботливый человек может его проигнорировать или не понять. Счесть капризом, например. Проявлением болезни.
В таком случае он может себя агрессором искренне не считать, но им является. Однако это ещё не значит, что он в своём желании заботиться "не прав". Агрессия бывает справедливой.
Вы со своей стороны можете принимать или не принимать заботу и агрессию по отдельности. Взять воду, но не кувшин…