Не только не главная, а вообще никоим образом это не причина. Даже если речь тут исключительно о физическом насилии. Наличие физической силы не влечет за собой применения ее для насилия над слабым. Для того, чтобы такое произошло, необходимо допущение и желание такого применения. Это вопрос морального облика обладателя силы - его мотивов и ценностей.
У многих обладателей силы, наоборот, есть внутренний запрет на применение ее в отношении слабого. И чаще это как раз мужчины, ибо такой запрет традиционен для мужской гендерной социализации.