Нужно перестать сомневаться в себе. Если человек неуверен в своих поступках, то он "обращается" к общественному мнению. Поступайте так как правильно по Вашей морали и комфортно для Вас и не сомневайтесь в правильности своих решений.
Небольшой бонус: если речь идёт об окружающих Вас незнакомых людях, вероятность того, что Вы встретитесь опять (и они Вас запомнят) невелика. Зачем беспокоится из-за мнения людей, которых Вы даже не знаете?