Можно. Просто желательно делать это не прям посреди храма. А так - не проблема. Несколько раз такое видел, ни у кого вопросов не вызывало.
Все понимают, что в храме это может быть очень нужно, потому что, в среднем, литургия длится часа полтора, и младенец может проголодаться, а выйти на улицу не всегда возможно, в условиях нашего климата