Это выражение пошло из старой христианской традиции, когда при службе мужчины занимали правую часть храма, а женщины левую, отсюда ходить налево - к женщинам. Левак же отсылает к деятельности правши (которых большиснство населения) левой рукой, итог получается нелепым и создается видимость халтурной работы.