Возможно на визуальный образ накладывается опыт взаимодействия с этими людьми, т.е. ваши представления об их личности.
Но интересно вот что: на чем основано убеждение, что у Вас хорошая память на лица??
Если однажды общалась человеком, то и через 10 лет узнаю его в толпе. Было неоднократно так.