"Ты - это среднее пяти человек, с которыми ты тесно общаешься."
Возможно, немного рафинированная фраза, но четко отображает мысль о том, что окружение и вправду на нас очень влияет. Просто выбирайте себе умных, интересных, искренних друзей и избегайте мудаков. Общаться с кем-то просто потому что нужно хоть с кем-то общаться - совсем неправильная стратегия. В конце концов, человеку не должно быть скучно на едине с собой.
Только вы решаете что вас тянет и куда, наблюдатели констатируют иное, поэтому нельзя "правильно" ответить на ваш вопрос
Если чувствуете угрозу по отношению к вашему развитию и самосовершенствованию, то конечно рвите эти связи. А окружение точно появится новое спустя время