Смотря что понимать под материалом. То вещество, которое мы видим на поверхности Земли на 99,999% подвергалось за последние 4,5 миллиарда лет полной переработке в результате геологических процессов, начиная от плавления и заканчивая окислением в поверхностных условиях. В частности, именно поэтому мы и имеем сейчас континенты, океаны и их сложное внутреннее строение неоднородное распределение по поверхности планеты.
Теоретически, практически любой распространенный минерал при надлежащих условиях хранения мог бы существовать миллиарды лет, однако более всего "повезло" цирконам, которые весьма устойчивы к воздействию меняющихся температуры, давления, состава атмосферы и гидросферы. Наиболее древние зёрна обнаружены в Австралии в местности Джек-Хиллс. Возраст некоторых из них более 4,4 миллиарда лет (4463 млн по последним данным 2018 года), то есть они практически ровесники образования Земли. В популярном виде об этом можно прочитать здесь