Смотря что Вы ставите целью своего увлечения: по полной засесть за изучение физики вместе с её математическим аппаратом, или же просто в свободное время читать или смотреть научно-популярные книги и передачи. В первом случае могу посоветовать пятитомник Сивухина или Савельева, по ним учатся все студенты технических специальностей, когда осваивают разделы общей физики. Но не скажу, что их будет очень интересно читать, там чистая выжимка теории, без расчета на неподготовленного читателя. Во втором же случае самым лучшим вариантом начать будет с Краткой истории времени Хокинга и отличного цикла передач Космос: Пространство и время от Нила Тайсона.
Рекомендую начать изучать физику с книг Я.И. Перельмана, и потом переходить к более сложным источникам. Перельман описывает законы физики понятным и доступным языком.