Берётся от предубеждений. От менталитета родителей. Из религии и традиций тоже вполне. Из обширной и всепроникающей системы уголовных "понятий", в конце концов, объяснять, думаю, не стоит. Кстати, φόβος, - страх, боязнь. Собственно само сокращение изначально используется не совсем корректно и слишком широко. Впрочем, как и другие в данном направлении.
Большинство-то как-раз и не боится, есть хорошая крепкая фраза Морган Фримана на эту тему. Но под ненавистью находится страх, в данном случае страх контакта с гомосексуалами. Придумывая термин, психиатр Джон Вейнберг имел в виду именно это. Что самое интересное, гомоненавистник может и не быть гомофобом, а гомофоб может не быть гомоненавистником.