С помощью парсеров таких как Screaming Frog или Netpeak Checker. Но можно также сделать это без стороннего софта, в гугл таблицах с помощью скрипта пробить ответ сервера у списка URL. Но у такого способа есть минус - ограничение по строкам, большой список адресов он не потянет. На своем опыте могу сказать, что до 5 тыс пробить можно. Кому интересно, пишите, поделюсь способом.