Предположу согласно З. Фрейду: все идёт из детства. Например, в детстве мама пела колыбельные, которые вас успокаивали (внушали чувство защиты и безопасности) и можно предположить, что женский голос на уровне подсознания может быть приятен гораздо больше, чем мужской. Или же наоборот песни, исполненные мужчинами, будут нравится больше т.к. в детстве была крепкая эмоцианальная Связь с отцом. Тут может быть множество вариантов психологической подоплёки.