Что делать, если человек привязался ко мне и считает меня своим другом, а я не хочу с ним дружить?

Я очень боюсь обидеть человека или сделать больно. Мне трудно выражать своё мнение в социуме и говорить нет, не хочу и т.д. Похожая ситуация со мной уже происходила (4 года дружила с человеком с которым не хотела общаться) справилась я с этой ситуацией с помощью снижения общения, но сейчас этот способ не работает.