Делать с любыми людьми имеет смысл общие дела, если они у вас с ними есть. В зависимости от Ваших и их интересов с людьми можно делать то, что они хотят, на что у Вас есть право и полномочия. Это касается всех людей.
Что же до основной части Вашего вопроса, то делать тут Вы можете что-то только с собой. Для начала стоит спросить себя, почему каких-то людей Вы "называете" "токсиками". На каком основании, а главное, зачем? Что у Вас за этим стоит?
Далее, конечно, основной вопрос: почему они Вас раздражают? Точнее: почему Вы раздражаетесь на этих людей? Ваше раздражение - это Ваша проблема, и эта проблема в Вас. Что стоит за этим, какие мысли о себе, людях, жизни? Если Вы хотите избавиться от этой эмоции, то переосмыслите идеи, которые ее рождают.