Сначала стоит понять, что хотите именно вы.
Если хочется продолжать отношения, то подумайте, почему сложно прямо ему об этом сказать.
Если хочется расстаться, то стоит определиться, что вам мешает до сих пор это сделать. Подумайте, какие слова дадут больше ясности вашей позиции.
Удачи!