Не всем людям. Есть и такие, которые вообще не замечают / замечают, но не зацикливаются, а быстро забывают / злорадствуют.
Те, которым стыдно, обычно так себя чувствуют из-за того, что в воображении ставят себя на место "неудачника". И реакция стыда в реальности не настолько относится к: "бедняга, как, наверное, ему сейчас неловко!", насколько к: "если бы я был на его месте, мне было бы плохо / ужасно / стыдно". Просто у таких людей грань между предполагаемыми (а частенько - и приписываемыми) переживаниями другого человека и своими собственными - очень тонка.