Разумеется, физическое насилие хуже. Оно - следствие психического. Когда насильник не добивается цели психическим воздействием, он переходит к физическому.
От психического у вас есть простая защита. Вы всегда можете не обращать внимание или уйти от действий агрессора.
При физическом нападении, это часто невозможно.
PS
Есть исключения. Если на вас воздействуют психотронным оружием, то последствия могут быть хуже. Но это тоже относительно.