Сайт создан на битрикс24, в настройках сайта этих строк нет, а если перейти на https имя сайта / robots.txt, то там под тем, что я прописывал ещё User-agent: * и эти две строки в заголовке добавляются. Что они перекрывают?
Скорее всего дефолтные значения, закрывающие свякое системное, например превьюху сайта, возможно какие-то исходные изображения, стили, скрипты, всё что угодно, что по мнению разработчиков Битрикс24 не должно попасть в индекс.