Речь идет про университетский курс теоретической физики, а именно обычно это теоретическая механика, электродинамика, квантовая механика и термодинамика + статистическая физика. Из общий физики, я бы сказал, необходимо твердое понимание основ: всего курса механики, уравнений Максвелла, как из него получаются различные решения типа статических полей и волн, ну и основ термодинамики, которые есть в общем курсе. При этом особо переживать по поводу знаний каких-то более продвинутых частей или деталей, как какой-нибудь интерферометр Фабри-Перо или всякие термодинамические эффекты, не стоит. В целом курс теоретической физики должен быть куда более стройным и последовательным, потому что новое строится на старом, и нет рассмотрения ста разных деталей и частных эффектов, порой мало друг с другом связанных.
Что касается математики, то необходимо в общем-то тоже твердое понимание матана: помимо очевидных интегрирования-дифференцирования, рядов и кратных интегралов хорошо надо понимать векторный анализ, ротор, дивергенцию, градиент и лапласиан, свободно уметь писать соотношения между ними и понимать откуда берутся формулы для них в криволинейных координатах. Ну и еще теорема Стокса и Остроградского, конечно. Для квантов нужно рабочее понимание линейной алгебры. В принципе, в зависимости от вашей программы до этого, полезным будет понимание основ функционального анализа, но не очень глубокое, достаточно понимать что такое задача Штурма-Лиувилля и что произвольные функции можно раскладывать по ее собственным функциям, даже интеграл Лебега не понадобится ни разу. Может даже и этого не надо будет. Полезно знать матфизику, как всякие уравнения Лапласа, теплопроводности и волновое уравнение решать, но даже это, я бы сказал, не очень обязательно.
Резюмируя, я бы сказал если вы мучились на общефизе, то вполне возможно, что наоборот теорфиз покажется для вас куда более приятным и интересным, больших тут проблем нет. В то время как если вы неуверенно чувствуете себя в матане или линале, то его однозначно стоит подтянуть.
Как раз таки матан и линал больше знаю чем общефиз и мучаюсь с олимпиадными заданиями, откладывая теорфиз:D