Здравствуйте.
Чтобы найти причины нежелательных реакций при контакте с мужчинами, нужно, как минимум, изучить ваш анамнез.
В частности - детско-родительский пласт отношений, так как в вашем детстве могли произойти какие-либо негативные события, сложные переживания, травмы, о которых вы можете уже не помнить в силу вытеснения/подавления (так работают определенные защитные механизмы психики), но при которые над вами имеют контроль, формируя проблемы с обозначенным страхом.
Предположу, что здесь могут иметь значение возможные проблемы контакта с вашим отцом в детстве или с другим значимым мужчиной (мужчинами). Отсюда неосознанно идет перенос ваших реакций, изначально направленных на фигуру (допустим) отца, уже на других мужчин. Но это лишь гипотеза, так как информации о вашем прошлом, о родителях, детстве, событиях и т.д. - увы, нет.
Поэтому для решения вопроса со страхом и агрессией будет верным решением обратиться за помощью к специалисту, чтобы определить истинные предпосылки проблематики и нейтрализовать, смягчить проекцию, если ее причиной, действительно, окажется перенос первичных, травмирующих и вытесненных из памяти переживаний от агрессора (того, кто нанес вам травму/навязал негативную установку) на других людей.