Какой программой можно спроектировать и рассчитать нестандартное эвольвентное зацепление?

Не встречал таких программ, хотя и  сильно интересовался. У меня похожий случай - нагнетатель Рутса для газов (воздуха, в частности) - разрез ниже.  Тут такая же история, как и с масляным насосом - параметры зуба  выбираются не с точки зрения оптимизации механических характеристик передачи как в классической задаче, а с точки зрения физического процесса перекачивания рабочей среды. Глядя на эскиз внизу текста, дока в области шестеренок сразу скажет, что такой зуб никуда не годится - подрезка ножки налицо из-за неправильного количества зубьев в передаче. В случае с масляным насосом обратная картина искажения классического зуба из-за недопустимого соотношения числа зубьев на сопрягаемых деталях насоса. 

Резюмируя, поскольку такого типа задачи выходят за рамки общепринятых расчетных параметров стандартных передач, широко известных программ на такие случаи и нет.

Выход - если взять маткад в руки, теорию эвольвентных зацеплений освежить и уделить время, то удастся построить кусочек (кусочек, не больше) эвольвенты для столь клинического случая, а уж весь остальной профиль зуба дорисовывать методом проб и ошибок при помощи любимой CAD программы.