Если парень говорит, что ему нравится со мной общаться, иногда встречаться, но при этом ни о каких отношениях и речи нет. Секса тоже нет. Что со мной не так?

А разве такой тип отношений не называется дружбой? Просто дружите и общайтесь, это вполне нормально иметь друзей противоположного пола. Так что всё и с ним и с вами в порядке.
Ну а если хочется большего и как друг он вас не устраивает, то проще прямо поговорить о ваших с ним отношениях и разобраться в этом вопросе.