По-моему, вы сами ответили на свой вопрос) "Старых" друзей тянуть никуда не нужно. Если захотят, сами подтянутся. Совершенно нормально, то, что рано или поздно кто то идет вперед, а кто то нет. И, когда кто то из компании уходит и идет своей дорогой. А общение такое к деградации, наверное, вас уже не приведет (если вы об этом задумались, у вас изменился уровень сознания, если человек поумнел, поглупеть снова тяжело), но такое общение будет тяготить и не доставлять никакой пользы. Общение должно быть качественным, с людьми себе по уму. И нет ничего плохого, если вы кого то из друзей оставляете. Жизнь - путь, и на этом пути попутчики сменяют друг друга. Это нормально. Так же как и то, что с кем то вам может быть по пути всю жизнь. Главное, не тормозите себя из-за неспособности кого то покинуть.
Как их оставить, не обидив? Прекратить общение?
Классный вариант - быть, когда они рядом, таким же, как они, но без них расти так высоко, как тебе хочется. Это и веселее, и не приведёт к разрыву отношений.
А если захочется бросить их, мол "не мое"?
Тут еще от человека зависит. Если человек не проявляет ни капли интереса, то это пустая трата времени и нервов. Лучше его оставить и возможно он еще одумается.