Посоветуйте книги по высшей математики?

-- По мат. анализу советую Фихтенгольца  и Зорича. 
Однако, Фихтенгольц полезен только на самом начальном этапе для одномерного анализа, т.е. только примерно 2/3 первого тома: вещественные числа, последовательности, функции одной переменной, пределы, непрерывность, производные, исследованией функций одной переменной. Там все будет очень просто и будет идти быстро. Также ряды во втором томе, но на них много времени тратить не надо. Когда дойдете до функций нескольких переменных и интегралов, надо будет уже переходить на Зорича (при желании заглядывая в Фихтенгольца, но уже не используя последний как базовый начальный учебник). Фихтенгольц останется в памяти как наглядный детский конструктор, но пора будет вырастать и переходить на более серьезные игрушки. Первый том Зорича, как и Фихтенгольц, тоже будет очень легким. Тем более, что после Фихтенгольца вы уже будете знать идеи и доказательства практически всех теорем одномерного анализа, просто будете смотреть на некоторые из них с более общей точки зрения (предел по базе и т.д.).
-- По алгебре советую:  Винберг “Курс алгебры” ,  Кострикин “Введение в алгебру” и Курош "Курс высшей алгебры"