Проанализируйте свои действия: возможно, что проявление интереса у вас чересчур заметно - если вы постоянно ищете встреч с этим человеком и постоянно привлекаете его внимание, то он может посчитать вас слишком навязчивой и начать избегать вас. Из-за этого может показаться, что присутствие этого человека в вашей жизни уменьшается.
Вариант довольно пессимистичный, но именно он мне кажется наиболее правдоподобным, если брать во внимание лишь то, что описано в вопросе ("чем больше проявляется к человеку интереса, тем меньше его в моей жизни"), но причины могут быть и иными, независящими ни от вас, ни от него, но для того, чтобы предполагать нужно болье информации.