Могу вам порекомендовать Mathserfer и Mathway. Первый сайт более функциональный, а на втором вы можете сами вписывать условия задач, которые надо решить.