Световая яркость - это поток энергии в данном направлении, деленная на проекцию площади источника и умноженная на функцию чувствительности глаза. Так что о яркости самого "света" говорить странно.
По сути же, все дело в том, что энергия фотона пропорциональна частоте (обратно пропорциональна длине волны) поэтому действительно, фиолетовый фотон несет больше энергии, чем красный. Поэтому при равном количестве фотонов, в фиолетовом свете будет больше энергии. Но если интересует именно визуальное восприятие, нужно учесть чувствительность глаза, которая имеет максимум в зеленом свете и спадает до нуля в ультрафиолете и инфракрасном диапазоне.
Еще возможно в каком-то источнике говорилось про излучение абсолютно черного тела, но там при увеличении температуры и спектр синеет и фотонов становится больше