Если человек толерантен, терпим, он толерантен и терпим одновременно ко всему. В целом тут оттенков нет особо. Адекватный, уравновешенный, его ничего не раздражает, и на все он реагирует сдержанно. По той же причине, что религозные фанатики - это хоть и плохо как социальная группа, но нет смысла на них злиться, по той же причине люди любых радикальных взглядов не стоят того, чтобы на них злится. Если нет у самого радикальных взглядов, то и и чужие радикальные взгляды мало волнуют.
Право людей отказывать в сотрудничестве это и есть гомофобия.