Сразу приходит на ум Kerbal Space Program/KSP Trajectory Optimization Tool.
Для начала, как мне кажется, его хватит. Можно попробовать себя в баллистике космических миссий к малым телам Солнечной системы на сайте
NASA/JPL. С полным набором программного обеспечения NASA можно ознакомиться
здесь.
Если говорить о профессиональной баллистике, то каждый институт/команда, обычно работает со своими программами, которые оттачиваются десятилетиями. Они будут сложны для новичка, да и обычно, выдают сухие цифры расчетов, которые еще придется красиво визуализировать в других программных продуктах.
Есть и коммерческие представители подобного программного обеспечения, которые дают профессиональную точность расчетов и визуализации, к примеру AGI STK, но ее приобретение физическим лицом маловероятна из-за стоимости.