Если в общих чертах, то это схема называется аксиоматическим методом.
Идея в том, что мы фиксируем ряд "неопределяемых понятий", и систему утверждений (аксиом), которым эти самые неопределеяемые понятия должны удовлетворять. Например точка, плоскость, прямая и аксиомы Гильберта (в простом варианте -- Евклида) -- определяют евклидому геометрию.
Дальнейшие рассуждения делают при помощи аксиом и правил логики. Ну вот так познание и происходит.
Тут, конечно, есть, масса тонкостей и деталей, которые иногда комплексно называют "основаниями математики", их изучает математическая логика и, отчасти, теория множеств (это мат. дисциплины, если что).
Я бы, наверное, посоветовал для более подробного книгу В. А. Успенский. Теорема Гёделя о неполноте. — М.: Физматлит, 1982. — 111 с.
А также другие книги того же автора.