Для меня очень просто: у вас может возникать эмоциональный дискомфорт от попыток сближения с этим человеком, любой (речь не о сексе, но и в нем тоже может быть дискомфорт).
Например:
- раздражение;
- обида;
- агрессия;
- общая фрустрация (слабая агрессия так сказать);
- разочарование;
- отчаяние;
- ненависть и т.д.
Если с эмоциями туго, то спросить напрямую об отношении этого человека конкретно к вам - так надежнее, чем апеллировать к намекам и недосказанностям.