Это зависит от уровня вашей нынешней подготовки и целей. Если вы хотите в будущем заниматься физикой, без математики и учебников вам не обойтись. Если же вы просто интересуетесь физикой, то прочитайте для начала популярные изложения теории относительности, квантовой механики и теории струн (именно в таком порядке, причем лучше с большими перерывами). Сделать это можно: в Википедии; в научно-популярных книгах (например, «Краткой истории времени» и «Мире в ореховой скорлупке» Стивена Хокинга — более доходчивых книг я просто не знаю; вполне подойдут и детские энциклопедии, от «Аванты+» до «Я познаю мир»); и даже на Луркморе (lurkmore.to), где теории как раз растолковываются предельно неформально, — но с Луркмором осторожнее, один клик в сторону, и о физике вы забудете.