А что именно заставляет вас дружить, если вы не хотите дружить? Ситуация, на самом деле, стоит обсуждения. Если вы тратите свое время, энергию, эмоции на человека, с которым не хотите общения, вы предаете себя. Не обязательно грубо разрывать отношения с человеком, можно постепенно сводить общение на нет, ограничиваясь светским, не близким отношением общением. Большинство людей почувствует такой холод в свой адрес, и, либо, по умолчанию ваша дружба прекратится, либо человек вызовет вас на контакт, выяснить, что произошло. И на этом моменте важно, отстоять свои границы, объяснив, почему общение более вас не устраивает.
Реже и реже с ним общаться, пересекаться. Немного игнорировать, и он сам поймет, что смысла с Вами общаться нету. Либо сказать прямо и аргументировать это.