В случае развода люди друг друга в чем только не упрекают.
Но случай с чужим ребенком особый, особенно, если он мальчик. Много вы видели в природе ситуаций, когда в стаде (стае) при смене вожака остаются детеныши мужского пола? В прайде львов, например.
Человек кое в чем отличается от животных))) Но древние инстинкты никуда не делись, соответственно, новый мужчина в вашем прайде подавляет их в себе, осознает он это или не осознает. Т.е ему было бы жить с вами легче, если бы у вас не было ребенка. Вот это и прорывается в этих упреках при разводе (ну, или не прорывается, если он не желает афишировать это обстоятельство).