Есть еще интересная легенда из города Эфеса, Турция.
На главной улице города, по обе ее стороны, стояли библиотека и бордель. Библиотека справа, бордель, соответсвенно, слева. Мужчины говорили женам, что сегодня проведут время в библиотеке, а сами благополучно топали налево — в бордель. Еще строения якобы были связаны подземным тоннелем:)
Отсюда и выражение.
Кавалер-офицер вел свою даму под руку, находясь слева от неё, в связи с тем, что на его левой стороне висела шпага. Следовательно правая сторона кавалера - занята его дамой, а левая свободна, куда он от своей дамой и уходил.