Не важно, что я вижу «красный» красным, а вы зеленым
Не ясно, что под этим имеется в виду. Допустим, человек А видит все предметы красного цвета (длина волны 625-740 нанометров) как одного цвета, то есть они вызывают у него одинаковые зрительные ощущения. Этот же человек А видит все предметы зелёного цвета (длина волны 495-570 нм) как одного цвета, но они вызывают у него другие зрительные ощущения.
Другой человек Б видит также эти предметы и различает их цвета, и они вызывают у него разные ощущения.
При этом не ясно, что у Вас означает, что второй человек видит «красный» зеленым.
Если все предметы красного цвета второй человек все предметы красного цвета видит одинаковым цветом, то он их сравнивает между собой как одинаковые и почему он должен считать их зелёными? Это предмет договорённости между людьми, что определённые предметы одного цвета называются "красными". Например, помидор, мак, роза и т.д. вызывают одинаковые ощущения у каждого из этих двух людей по отдельности, поэтому они и называют их одинаковым словом. Второй человек не может сравнить свои ощущения с ощущениями первого человека. Он может только сравнивать свои ощущения со своими. Поэтому люди договорились между собой называть красным цветом те ощущения, которые вызываются определёнными предметами.
Поэтому главное их узнаваемость и их единая значимость для популяции субъектов