Задавая подобные вопросы(да и вообще любые), наверное, следует уточнять для каких целей нужен ответ, и, может, еще не мешало бы каким-либо образом обозначить уровень Вашей подготовки для восприятия ответа(Это я к тому, что объяснять школьнику нахождение объема пирамиды через тройной интеграл - как-то не совсем рационально. Хотя бывают школьники... Поэтому важно представлять и цель вопроса). Кроме того, как бы это помягче выразить: человек, серьёзно интересующийся "как можно более математическим разрезом" реляционной алгебры и не умеющий(?) искать информацию в интернете - выглядит довольно странным. Вот запросы в поиск, которые дадут ответ на Ваш вопрос в самом лучшем виде: "реляционная алгебра" (к стати - она одна в двух вариантах), "литература по реляционной алгебре", "реляционная алгебра учебник-самоучитель" и т.п. Добавлю, что, если Вы действительно хотите заняться предметом реляционной алгебры в теоретическом плане, то следует начинать с изучения Общей алгебры("Общая алгебра, иногда называемая современной алгеброй или абстрактной алгеброй, где аксиоматизируются и изучаются максимально общие алгебраические структуры, такие, как группы, кольца и поля.").
Чтобы мой ответ не показался малоинформативным и не существенным, приведу один из источников:
Реляционная алгебра. Язык SQL: Методические указания по курсам ''Теория информационных систем'' и ''Базы данных''
Фомина И.А., Исаев С.А.
Материал предназначен для студентов специальности ''Прикладная информатика'' факультета ВМК. Он также может быть интересен всем, кто в силу научных, учебных и практических целей заинтересован в рассмотрении абстрактной трактовки запросов в рамках реляционной модели и изучении языка запросов SQL.
В конце этой методички приведен список литературы для изучения данного вопроса.
Удачи в поисках и изучении. Если есть более конкретные вопросы - задавайте в комментариях.