На этот вопрос можно отвечать длинно, можно коротко. Я отвечу коротко: карточные долги формально не считались долгами. Следовательно, карточный долг можно было не возвращать.
Но! Понятие карточного долга как "долга чести" было тесно связано с понятием "честной игры". Соответственно, отказ выплачивать карточный долг был иносказательной формой обвинения в нечестности, мошенничестве. По крайней мере, он мог быть так понят. Тем более, что мошенничество в карточных играх всегда было широко распространено и в дворянской среде.