Утверждение о бесконечности материи является следствием причинности нашего мира: у любого события, даже у самого "первого", есть участники, которые приняли в этом событии участие, у каждого из них были предшествующие события. Нарушения такой последовательности требует, по моему мнению, слома психики...
Или, как поступают эйнштейнианцы и сторонники нематериальности волновой функции, выход в непознаваемость или эзотеричность...