Смотря, что под этим подразумевать. Та часть электромагнитного спектра, которую мы воспринимаем как цвет это, да, очень узкая часть.
И, скажем, инфракрасную часть спектра мы воспринимаем как тепло, а не как цвет.
Однако, чтобы утверждать, что цветовой спектр разнообразнее, нужно понять - разнообразнее для кого. Если мы смотрим на некий природный объект, то он обладает неким цветом именно для нас. Для другого биологического вида он может быть как этого цвета, так и другого, в зависимости от особенностей устройства зрения. Но нет какого-то "истинного цвета" объекта, который мы могли бы увидеть, но не видим из-за ограничений нашего зрения, потому что "истинный" цвет для нас, как человечества, это и есть тот цвет объекта, который воспринимается здоровым человеком.
Цвет, например, прозрачного объекта зависит от того, грубо говоря, какие атомы в его строении какую часть проходящего через него света пропустили, какую поглотили (не считая более сложных оптических эффектов). Мы знаем какая спектральная кривая у света нашего Солнца, можем замерить спектральную кривую того света, что прошёл через прозрачный объект.
И дальше, не видя объект, но видя спектральную кривую пропускания/поглощения, зная пики чувствительности "детекторов" в нашем глазу, можно плюс-минус предположить какой цвет воспримет наш мозг, т.е. какого цвета будет этот прозрачный объект для наблюдателя.
При этом, за счёт сочетания устройства глаза и работы мозга субъективное восприятие цвета у конкретного человека будет чуть отличаться. Это даже вполне тренируемое качество. Например, мне, как геммологу, важно различать множество разных жёлтых камней или красных и так далее. Потому что это таки деньги =) Ценность зависит от цвета.
Это значит, что два жёлтых объекта, одинаково жёлтых для другого человека, будут разными жёлтыми для меня. А какой-то цвет будет оранжевато-красный, а не просто красный, пять синих камней будут по-разному синими и так далее. Можно это назвать тем, что я вижу цвета разнообразней? И да, и нет, потому что это всё равно в рамках всё того же доступного нам спектрального диапазона.
Бывает сложнее. Люди с четырьмя "детекторами" в сетчатке тоже не начинают воспринимать рентгеновское излучение как цвет :) Но из-за того, что объекты в реальном мире не освещаются светом только одной длиной волны и часто имеют окрас как сочетание каких-то цветов, то из-за добавление нового "детектора" с новым пиком чувствительности, условно, то что мы видим как оттенок розового (который и сам-то не спектральный цвет), человек увидит как оттенок фиолетового или в какой там части спектра появляется новый пик чувствительности. Будет не столько больше цветов, сколько больше мешанины с точки зрения человека с тремя "детекторами". Условно, для нормального человека будет равномерно-коричневый объект, а этот человек увидит там ещё и фиолетовое пятно.
Бывали в США и Китае опыты по повышению восприятия глазом и мозгом части инфракрасного диапазона и это отлично для ночного зрения, но днём получалось бы, что у тёплых объектов к их цвету примешивается ещё тот цвет, каким воспринимался бы инфракрасный. Возможно, особый красный. И вот смотрит человек на свою тёплую руку, а кожа не бежевая, но пятнистая и красная :)
Опять же, это значит, что кожа "на самом деле" именно такая? Нет, это значит, что она так бы воспринималась и если бы так стали видеть все, то тогда уже и считалось бы, что кожа именно такая.
Поэтому всё относительно :)