Хороший вопрос! Предполагаю, потому что с детства люди окружены словами, часть из которых повторяется в определенных ситуациях, например, сильного испуга и удивления. Со временем ребенок вырастает, усваивая эту связь слов и ситуаций.
Атеисты растут в той же среде, что и другие люди, поэтому и словесные привычки у нас могут быть те же :)
Произнося "господи боже", атеист вряд ли подразумевает бога, а скорее просто использует эти слова для выражения эмоции, не наделяя их специальным смыслом.
слова паразиты