Как он сам сказал - "Это нездоровая привязанность, мы оба чудовища", можно предположить, что их отношения достаточно невротические и зависимые, Джейме старался от этого уйти, но Бриена не дает ему тех эмоций, которые он получает с Серсеей, пусть это и разрушает их обоих, но, по видимому, по-другому они не могут.
Потому что любит ее.
Есть ли какая-то более веская причина, для того, чтобы вернуться к любимой женщине в трудный для нее момент?