Советую "Теоретический минимум" Леонарда Сасскинда и соавторов: 1. Классическая механика. Л. Сасскинд, Дж. Грабовски; 2. Специальная теория относительности и классическая теория поля. Л. Сасскинд, Арт Фридман; 3. Квантовая механика Л. Сасскинд, Арт Фридман.
Это не научно-популярная литература, это вполне себе учебники с задачами.
Для более узких направлений, или более глубокого погружения в темы, после перечисленных учебников Сасскинда - Ландавшиц, Фейнмановские лекции по физике, видеолекции МФТИ М.Г Иванова…
Но советую начать именно с Л. Сасскинда, причем в указанной последовательности т1, т2, т3 - в сжатой форме и последовательно вводится комплексно физика и необходимый матаппарат.