Давайте проведём небольшой мысленный эксеримент. Вы можете представить себе, чтобы эту фразу сказали об Анджелине Джоли, у которой шестеро детей?
Если нет - то, может, не в многодетности дело, а в чём-то другом? В чём именно, и ком так говорят вслед, а о ком нет - я уж не буду подробно разъяснять, сами попробуйте догадаться)