Раскрою страшную тайну - как раз христианство не поощряет эту фразу, "Слава Богу". Потому что "не поминай всуе" и всё такое.
Если уместно - говорите "Слава России". Фельдман тут привел чудный пример неуместности. Можете говорить "Ну и хорошо", "Отлично!", "Обошлось, и ладно", "Ну и пусть так и будет" - да хоть иностранное "Let it be"… хотя нет, Вы же атеист, а это библейское)
Хотя вообще это не тот вопрос, по которому надо напрягаться.