Не надо трогать PageSpeedInsights. Поставьте плагин кэширования, типа Total Cache, а лучше включите на сервере Redis. Отключите ненужные плагины, минимизируйте код (для этого также есть плагины), отключите ненужные функции, отъедающие ресурсы. Этого достаточно.
Кому ВП будет проигрывать? Какая угодно нагрузка будет - он выдержит на самых высоких скоростях.
Уменьшите размер используемых изображений, включите сжатие стилей и скриптов, возможно проблема находится в используемом хостинге, также существует множество плагинов, например: Autoptimize
Проанализируйте полную скорость загрузки страниц различными сервисами. Они вам покажут рекомендации по сжатию картинок, скриптов - нужно будет выполнить эти рекомендации. Также, можете использовать плагины кэширования, например WP-Rocket