Почему оценка общества так сильно влияет на нас?

Я бы не формулировал "встроено в нас природой".

Скорее, это в нас как раз от "не-природной", не биологической части.

Александр Марков в двухтомнике "Эволюция человека" пишет, что мы эволюционно формировались как биосоциальный вид.

То есть биология одна, сама по себе, чтобы человек вырос здоровой взрослой особью своего вида, недостаточна.

Для этого требуется какой-то минимум переданной человеческой культуры. Не в смысле балета. А в том смысле, в каком люди передают друг другу умения. Говорить. Договариваться. Действовать.

Мы, как личности, часть общества, формируемся через то, чем "кормит" нас общество, общество - наша среда.

Ещё исторически совсем недавно быть изгоем из своей среды было крайне, смертельно опасно.

Отзвуки - в сообществах, где люди прямо сегодня живут по законам стихийной, примативной иерархии. Зона, армейская срочная служба (в той части жизни, которая за пределами уставной иерархии, - и да, сейчас это выражено гораздо меньше, чем прежде). Там статус "проверяется" через попытку нарушения границ, унижения, и определяется тем, как человек на это реагирует. И снижение статуса - да, очень влияет на качество жизни.

***

Так что - я бы не сказал, что "встроено природой". Встраивается обществом, сперва через родителей, затем через другие социальные взаимодействия.

И это уже задачи и цели личного развития - научиться выбирать, когда и как соответствовать чьим-либо ожиданиям, а когда и как действовать независимо от них.