Здравствуйте, Артём!
Мой ответ не станет претендовать на звание самого точного и подробного, но я постараюсь описать Вам как это происходит в общих чертах.
Первым делом, естественно, покупается лицензия на использование движка и любых его частей. Затем имеющийся движок (коль такой имеется) и его компоненты документируются. Нужно это для того, чтобы иметь примерное представление, как все должно будет выглядеть. Для лучшего понимания объясню, что такое вообще физический движок, утрировано конечно.
Физический движок, по сути - набор переменных для объекта, которые задают возможные взаимодействия с другими переменными или объектами. Очень грубо говоря задаются базовые основы такие как гравитация, скорость движения, вес и иные. Все это не является одной библиотекой, не является одним .dll файлом и не закидывается в проект по мгновению ока. Это код.
Кучи кода.
Чертовы.. кучи.. кода...
Это все настраивается с учетом того, как должно работать по задумке разработчиков. Параметры прикручиваются к объектам, объекты взаимодействуют друг с другом меняя параметры и так далее.
Не знаю, может воды и много, может и размыто, но я постарался ответить на Ваш вопрос)