В России в оные времена было принято в высшем свете общаться по-французски. Однако, во-первых, в полной мере им владели не все (например, говорят, что граф Аракчеев и двух слов связать не мог). Поэтому иногда вставляли так называемые mots ("словечки"). Во-вторых, некоторые намеренно из-за отсутствия полных аналогов русского мата во французском намеренно вставляли русские нецензурные выражения (в мужском обществе). И тогда слова "извините мой французский" носили иронический характер. Эта традиция стала, как сейчас бы сказали, мемом. Используется и сейчас в смысле "извините за выражение".