Скорее всего у вас синдром стервозного лица. Вполне реальный диагноз, который может серьёзно подпортить вам жизнь. Суть синдрома в том, что лицо его обладателя в расслабленном состоянии выглядит злобно и недружелюбно, хотя человек на самом деле не испытывает этих эмоций. Из-за тех или иных особенностей внешности мимика может выражать как недовольство, презрение и злость, так и насмешку, раздражение или грусть.
Можете почитать подробнее в разных источниках, это не антинаучная хрень, учеными проводились реальные исследования.
А вот что делать в такой ситуации (если вас дествительно это беспокоит) - массаж лица, работа перед зеркалом с вашей мимикой, возможно какая-либо коррекция с помощью косметики.