Вы не одиноки в своих чувствах. Нет, я не про себя) Есть даже такой термин в психологии и педагогике как "математическая тревожность" - это когда на уроках и при занятиях математикой у человека начинаются приступы тревожности. Это не зависит от ваших математических способностей. Основная причина - неправильное преподавание математики и завышенные требования от родителей по успеваемости. Преподаватель строг, плохо объясняет материал и любит устраивать конкурсы в стиле "кто быстрее решит задачу, тот и молодец".
Любовь к делу проявляется тогда, когда у вас оно получается и сам процесс даёт вам ощущение комфорта. Разберитесь почему вы не любите математику и устраните причины. Сделайте акцент на маленьких промежуточных успехах и реальной пользе математики в быту. Старайтесь не обращать внимание на неадекватные требования других людей.