Это называется интимофобия. Мило общаться, гулять и (иногда) даже заниматься сексом с человеком, который тебе в принципе безразличен, безопасно. Делать то же самое с человеком, который тебе нравится -- "опасно", ибо в голове тут-же всплывают образы из раннего детства, где ребёнок однажды раз и навсегда уяснил, что близкие отношения чреваты ударами в спину, предательствами и прочими неприятными вещами, а потому так лучше не делать. Дальше варианта два: либо гуглите про интимофобию, смотрите вебинарчики и делаете всякие упражнения, либо идёте к хорошему психотерапевту, вскрываете с ним детские обиды, переосмысливаете произошедшие ситуации и однажды с удивлением обнаруживаете, что мило общаться, гулять и заниматься сексом хочется именно с теми, кто вам симпатичен и кому симпатичны вы.
А можно чуть более подробно узнать о родительских паттернах?