Конечно имеете. Как только вы перестали верить в бога, крестик превратился в дешёвую (или дорогую, если он золотой, весит килограмм и висит на золотой же цепи в палец толщиной) бижутерию, а библия - в толстую книгу со скучными сказками. Запретить носить крестик и цитировать книги вам не может никто, осудить вас за ношение крестика могут только те, кто верит в бога (то есть, не вы, а вы перед своей совестью чисты).
А вообще, какая связь между внешними атрибутами религии и верой?