Только откровенный разговор может помочь.
Хотя мне и не понятно, что значит "не занимаетесь детьми". Встает встречный вопрос: занимается ли детьми муж, или он просто скинул все на вас и со стороны ему кажется что заниматься детьми надо как-то иначе? Попробуйте предложить ему посидеть с детьми хоть неделю, и посмотрите как он справится. Может поймет, что это не так просто.