Один из сервисов для проверки скорости сайта - https://developers.google.com/speed/pagespeed/insights/
Вбиваете свой URL сайта (адрес типа https://my-site.com) и смотрите, какие проблемы были на нем найдены. Находит почти все front-end'овские проблемы, кроме тех, которые скрыты внутри framework'a, но по вопросу понятно, что у Вас самописный сайт, так что на эту тему не волнуйтесь.
Если среди прочих проблем будет найдена "низкая скорость ответа от сервера" или любая другая формулировка, касающаяся сервера - копайте в сторону либо хостинга (плохой сервер Вам выделили, слишком много промежуточных узлов от сервера до целевой аудитории и т. д.), либо серверных, т.е. back-end'овских реализаций. Например, очень часто встречается такое: у человека интернет-магазин и на странице он отображает 10 товаров. Но из базы данных он при этом для каждого клиента зачем-то вытаскивает ВСЕ записи о товарах, а их может быть допустим 100к (100 000). Естественно, сервер от таких абсолютно неоптизированных запросов запыхтит.