Это означает то что вы ему не безразличны. Возможно у него проблема, связанная с заниженной самооценкой, проблема с коммуникацией. Любитель смотреть в замочную скважину, подглядывать, родсматривать, маструбация мозгов - это его конёк.
Если он вам безразличен, то отпустите эту ситуацию.