Давайте разберемся. Во-первых, «тянуть вниз» Вас никто не может, если Вы сами этого не захотите. И что значит «тянет вниз»? Тормозит Ваше развитие, мешает самосовершенствованию? А каким образом?
Ведь несмотря на то, что вы друзья, жизнь у каждого из вас своя. Если друг не заинтересован в собственном личном росте, то это не значит, что не должны развиваться Вы.
Так же и по поводу «надоел»? Вам скучно в его компании? Неинтересны разговоры? Вы можете просто откровенно сказать - мне это неинтересно, я предпочитаю...
Также открыто можете с ним обсудить, что Вас перестало устраивать в общении с ним.
Возможно, откровенный разговор поможет, и отношения Ваши наладятся. Если нет, то также честно можете признаться, что отношения тяготят Вас, и Вы не видите больше ничего общего между вами. При этом не забудьте отметить, что ваша дружба всегда была ценной для Вас, но, к сожалению, так часто быв, пути и интересы расходлятся.