Гуглите "генетические" или "эволюционные" алгоритмы. В принципе, это достаточно просто.
Это называется эволюционные алгоритмы. Можете, например, здесь почитать. Готового софта на эту тему очень много.
Первый
Попробуй приложение darwinbots. Там можно настроить свою симуляцию и создать свои организмы, а потом наблюдать как они развиваются, умирают и изменяются.