Я думаю, что если в школе математика была вам в тягость - то мне сложно представить, что вам понравится программирование. Хоть там и не требуются особые знания математики - само программирование довольно-таки похоже на бесконечное решение не очень сложной, но чрезвычайно длинной и запутанной математической задачи, где вам нужно постоянно быть аккуратным, педантичным, следить за областью допустимых значений, не терять корни, не терять минус и тому подобное. Если это вгоняло вас в неизлечимую тоску - всё программирование будет тоской.
Из школьного курса программисту нужно знать: сложение, вычитание, умножение, деление, изредка квадраты, корни и чуть-чуть тригонометрии (синус, косинус, теорема Пифагора). В 99% случаев этого достаточно. Вряд ли вы хотите работать в той области, где работает оставшийся 1%, раз вы задаёте этот вопрос.
То есть вы поступали на IT специальность, без школьных знаний информатики, но хорошо зная математику и физику???