Можно ли изучить математику на очень высоком уровне занимаясь ей самостоятельно или в не в столичных вузах?

А) Самостоятельно - нереально

В) Изучая не в столичных университетах - есть ненулевая вероятность успеха.  Достаточно сильная школа ( в известной мне области ) создана в Уфе под эгидой Башкирского филиала РАН.  В Уфе работает Ринад Салаватович Юлмухаметов ( д.ф.м.н ) и еще несколько способных учеников В.В. Напалкова ( все доктора наук ).  Томский Государственный университет, Новосибирский государственный университет. Один из сильнейших математиков в области МТФКП не эмигрировавший из России - Сергей Витальевич Знаменский (д.ф.м.н) . Детали можно унать в Википедии. Я не уверен , что он преподает. Здесь нужно поработать в Сети в поисках нестоличного университета с сильной школой математиков.  Но, по-моему, оптимальной вариант это университеты Питера ( если релокации все равно не избежать ).  Слабый Мехмат, которых сейчас хватает, не даст Вам ничего кроме проблем с профессиональным ростом и конфликтных ситуаций. Не столь важно направление в Математике к которому Вас потянет, как наличие на ф-те реальных докторов физ.-мат наук (профессуры) не критично в каких именно областях.

Добавлено 20.04.23

Не вредно также понимать , что дисциплины как МатАнализ, Теор. Вероятностей, Дифф. Уравнения читаемые в рамках ИВТ специализации технических ВУЗов дают знания инженерного уровня. 

Это не "the cut of the edge" достижения в области Функционального Анализа, Уравнений Матем. Физики, Методов Теории функций комплексного переменого  или как правило сильные результаты на стыке упомянутых, для примера,  направлений.  Не стоит смешивать Математику как науку для современных разработок в области квантовой теории поля с каждодневной рабочей рутиной для которой Вам тоже нужно уметь решать хорошо известными методами дифференциальные уравнения или брать кратные интегралы.

Без глубокого знания Функционального Анализа , проникающего практически во все области Современной Математики для фундаментальных исследований в области естестественных наук и в первую очередь теоретической физики Вы будете бесполезны.