Моя версия, конечно, не является основной, но полезно вспомнить еще, что согласно поверьям, с правой стороны человека сопровождает ангел-хранитель, а с левой находится бес-искуситель. Следовательно, изменяя, человек соблазняется бесом. Слово "левый" также часто используется, как антоним правому, правильному, обозначая нечто некачественное, сомнительное, неправильное.
Кавалер-офицер вел свою даму под руку, находясь слева от неё, в связи с тем, что на его левой стороне висела шпага. Следовательно правая сторона кавалера - занята его дамой, а левая свободна, куда он от своей дамой и уходил.