Самый быстрый и простой способ - это http://cloudflare.com/. На платных тарифах есть оптимизация картинок, js, css.
Кому ВП будет проигрывать? Какая угодно нагрузка будет - он выдержит на самых высоких скоростях.
Уменьшите размер используемых изображений, включите сжатие стилей и скриптов, возможно проблема находится в используемом хостинге, также существует множество плагинов, например: Autoptimize
Проанализируйте полную скорость загрузки страниц различными сервисами. Они вам покажут рекомендации по сжатию картинок, скриптов - нужно будет выполнить эти рекомендации. Также, можете использовать плагины кэширования, например WP-Rocket