Если ты не состоишь с ним в отношениях , у вас нет взаимных обязательств друг перед другом. Значит, он волен поступать так, как хочет, и гулять с кем угодно — устраивать скандал не имеет смысла
Раз уж его взаимодействие с противоположным полом так сильно треплет нервы — начни с ним встречаться и, грубо говоря, «займи» его. Если этот вариант не рассматривается, то придётся что-то решать с чувством собственничества