Что такое цвет с точки зрения математики?

Зависит от контекста.

Вне математики это качественная субъективная характеристика. В более прикладном смысле — точка в цветовом пространстве. Если быть более точным, мы говорим о биективном отношении "цвета" как объекта органолептической действительности, и некоей сопоставленной ему "точки". То есть, мы абсолютно однозначно сопоставляем определенному цвету определенную координату. Способ такого задания называется цветовой моделью. Самые известные

Cyan Magenta Yellow Key-color (или неформально blacK)

RGB (Red Green Blue)

LMS — Long wavelength Middle wawelength Short wavelength (Длинные, Средние и Короткие волны) — цветовые функции отклика рецепторов колбочек

HLS — Hue - Saturation - Lightness (Тон - Насыщенность - Светлота)

Существует много подобных моделей, где цвет задаётся тремя координатами этих параметров.

Цветовые модели используются в ТФКП при построении графиков комплексных функций. Напомню, в чем сложность. Допустим, нам надо построить график функции f(x) = Log (z), где Log — комплексный логарифм. Аргумент z задаётся парой чисел: действительной и мнимой частью, но и значение функции тоже будет комплексным числом. Итак, нам нужно четыре измерения для построения полноценного графика, а относительно легко мы можем на двумерном экране или листе отображать, максимум, трехмерные объекты. Тут-то нам и приходят на помощь цветовые модели. О построении графиков комплексных функций с их использованием см.