Из-за того, что у сайта нет sitemap - его не уберут из поиска. Карта сайта важна для индексации ресурса, но ее отсутствие не приведет к такому результату.
Есть много вариантов за счет чего сайт вылетел с прежних позиций и каждый из них проверять:
Как писали коллеги, нужно разбираться в проблеме детально, для начала провести полный аудит ресурса
Сайт появился в поиске, но только по низкочастотным запросам.