Как заменить «о, Боже мой», «о мой Бог», «слава Богу» и прочее, когда не хочешь это употреблять в связи с атеистическим взглядом на мир?

Добавьте множественное число, это сделает вас уникальным, изысканным и непонятым.

«О, боги мои», «о мои боги», «слава богам». В эту же копилку можно закинуть и «божечки-кошечки», это изначально множество.

Во-первых не понятно о ком идёт речь. Это могут быть любые боги, существующие, не существующие, метафорические, контекстуальные... Вы заставите собеседника задуматься: "Хм, у него какие-то другие боги, круто!"

Во-вторых так как непонятно о ком речь ー невозможно этим кого-то оскорбить. Может ваши боги ー это и боги собеседника. Ему нет причин напрягаться.

В-третьих, в отличии от других замен добавлять множество проще всего. Легче переучиваться, не нужно кардинально менять лексикон.