Точно НЕ делать что-то из "долга", вины, "ради" того или второго страдальца и т.п. Так что вы, насколько понимаю, делаете всё верно: ориентируетесь на себя.
Но отчего вы пишете, что не можете отказать им, сказать нет? Вы же сказали им, что не хотите отношений. Или они надеются, что вы не хотите, но вступите?
Больше ясности.
Нам бывает стыдно, тревожно ясно говорить "нет", ставить границу. Из страха отвержения обычно. И задача научиться говорить "нет" прямо и определённо. Да, лишать человека надежды, возможно. Да, рисковать, что тогда человек отдалится или уйдёт из нашей жизни. Но это уже будет его выбор. Мы имеем право на ясность, определённость, недвусмысленность.
Если захотите, можете написать мне в личку ВК или ФБ, вышлю ссылку на свой вебинар, "Как правильно отказывать. 3 способа сказать НЕТ, сохранив хорошие отношения". Бесплатно, конечно. (Ну и это не только к автору вопроса; если есть интерес — пишите в личку. Давно его провёл… года четыре назад или больше, наверное).