Matplotlib роняет ipython kernel в jupyter notebook, что делать?

Как роняет? Что вы вводите? Слишком мало сведений для того, чтобы дать ответ.
Сам по себе должен прекрасно работать в jupyter notebook. Значит какой-то не график мудреный пытаетесь построить.