Мне не совсем понятно, считаете ли Вы низкую самооценку следствием проблем с противоположным полом, или предпосылкой к этому.
Но, в любом случае, ответ прост. Низкая самооценка мешает во всех сферах жизни, но, поскольку секс - инстинктивно наиболее значимая область жизни (наряду с собственно выживанием), Вы и обращаете внимание, в первую очередь, именно на свои проблемы в этой сфере.
Иными словами, дело не в приоритете связи - дело в Вашем внимании.