Заняться собственной самооценкой.
Разобраться всегда ли так было?! Если да, то возможно это и есть фундамент вашей дружбы. В таком случае прекращение этой дружбы пойдёт вам на пользу.
Если так было не всегда, ищите причину упадка собственной уверенности в присутствии друга. Попробуйте поговорить с ним об этом. Лучший друг всегда поможет найти самый удачный выход из ситуации. Как говорится, одна голова хорошо, а две лучше!)