Толкин сам не определился.
В одном месте он рассуждал о том, что они тоже "пали", основали свои собственные культы и, в общем, ничего хорошего от них не вышло.
А в другом месте, наоборот, говорил, что они где-то там на востоке боролись с влиянием Саурона и без них его войско было бы ощутимо больше.
В общем, эта парочка всегда была где-то за скобками, и самого автора особо не интересовала, так что их влияние в литературном плане близко к нулю, а в "историческом" - сложно точно сказать.