Потому, что на полном серьёзе могут считать, что не соответствуют женщине. Одно дело повстречаться 3-6 месяцев, и постоянно "выпрыгивать из собственной шкурки", чтобы соответствовать и удерживать отношения. И совсем другое развивать отношения дальше и планировать будущее.
Мужчины - это существа комфорта, поэтому не могут долго находиться в состоянии постоянного стремления удерживаться на определённом уровне, который соответствует партнёрше. Им легче один раз признаться в собственном несоответствии и искать женщину попроще, чтобы на её фоне можно было быть собой и не напрягаться.
Но не нужно обольщаться, что во всех случаях данная фраза это забота о любимой женщине. Такая фраза обезоруживает женщину и не даёт возможности выяснения отношений. А в действительности информация может быть иной - Мне с тобой так сложно, что я готов сбежать куда угодно.
О манипуляторах, которые применяют данную фразу из собственной корысти писать не буду, так как это другой ответ.