От чего это пошло?
Пошло это из детства. Вас не принимали, не слушали, относились как к пустому месту. Вы даже можете быть уверены в том, что в вашем детстве всё было хорошо, но если послушать подробности, то выяснится, что вас ни во что не ставили.
Вы привыкли к такому обращению и ведёте себя соответственно. А окружающие пользуются таким вашим позиционированием себя. Осознанно-то вы протестуете против этого, но ваша психика — это не только сознание.
Как с этим справиться
Через психотерапию. Нужно изменить отношение к себе и способы взаимодействия с другими людьми. Обратитесь к психологу.
Можно также самостоятельно поработать со своей самооценкой, но не берусь предсказать, насколько это будет эффективно в вашем случае.