Отчего же не фанатеют? Возможно фанатеют не все. Однако я лично знаю парней, ребят, мужчин, которые очень даже фанатеют и восхищаются женщинами. В моём окружении таких большинство.
Ну, если под словом фанатеют мы подразумеваем увлечение, восхищение, наслаждение общением и тп.