Смотря зачем, смотря насколько он сам адекватен.
Если адекватный - можно прямо, с позиции логики (эмоции - в ноль, спокойно - холодно но очень в меру доброжелательно) сказать ему, что "В отношениях должна быть взаимность, но на мой взгляд, ты мне не подходишь. Это не упрёк тебе, это констатация того, что ты не подходишь конкретно мне." [На местах, которые выделил жирным - сделать акцент - выделить голосом, чтобы из высказывания следовало, не "ты мне не подходишь", а именно "мне не подходишь"] (Суть замысла в данном случае - одновременно чётко и ясно дать понять, что вам "не по пути", при этом не обидев другого человека).
А если не адекватный - просто держаться от него подальше и отрубить все контакты и пути возможного пересечения.