Хочу поступить на математику, так как нравится, но на всякий случай рассматриваю физику. Что выбрать?

Разница всё же большая. Математика хоть и имеет дело с абстрактными объектами, но эти объекты более понятны и постоянны. Физика может иметь дело с настолько тонкими объектами, что эти объекты могут существовать такими именно в голове учёного на основе гипотез и последних опытов над объектами. В реальности гипотезы могут работать в каких то ограниченных пределах. А сами объекты могут сильно отличаться от их представлений. Я имею ввиду физику на атомном, ядерном уровне и глубже…

Чтобы определиться с физикой, надо было много книг прочитать о жизни известных физиков — о рождении их идей и дальнейшем их развитии, об общении между физиками. Я лично в школьные годы ставил эксперименты: нагревал магнит, много опытов с вытекающей через отверстие водой — проверял свои гипотезы. Но выбор всё равно был в пользу математики, но не исключал её применение к физике. 

Не всегда бывают прямые пути — начните с математики. Раньше были физматы. Не знаю как сейчас. В любом случае, математика — инструмент физики. Но чтобы в физике что- то новое сделать — нужна огромная интуиция. А это очень большой дефицит в наш стремительный и суетливый век. О развлечениях надо будет забыть на многие годы — разве что просто необходимое кратковременное расслабление для мозгов.