Это математическая теория, цель которой нахождение наилучших стратегий в играх. Применяется в экономике и смежных областях. Из литературы могу порекомендовать цикл статей на habrahabr, достаточно загуглить "теория игр: введение". По этому запросу можно найти и различные учебники.
Но так как теория игр является довольно специализированной областью математики, то сначала лучше изучить базовый курс высшей математики и некоторые смежные теории (графы, теорию множеств).