Вам нужно проработать 5 параметров:
Время загрузки первого объекта — HTML-документа.
Время начала отображения страницы.
Количество объектов и данных, которые загружаются между началом и окончанием отображения страницы.
Время полного отображения страницы.
Загрузка объектов после отображения страницы.
Плагинов для WP полно, но нужно отдельно рассматривать эти показатели, т.к. влияя на одно вы можете изменять другое.
Кому ВП будет проигрывать? Какая угодно нагрузка будет - он выдержит на самых высоких скоростях.
Уменьшите размер используемых изображений, включите сжатие стилей и скриптов, возможно проблема находится в используемом хостинге, также существует множество плагинов, например: Autoptimize
Проанализируйте полную скорость загрузки страниц различными сервисами. Они вам покажут рекомендации по сжатию картинок, скриптов - нужно будет выполнить эти рекомендации. Также, можете использовать плагины кэширования, например WP-Rocket