Если сайт сползает на 5 страницу выдачи - значит он явно не соответствует правилам ранжирования. Закажите аудиты вашего сайта у специалистов. Или сделайте хотя бы анализ вебмастера на предмет МПК, дублей и прочего. Так же можно сделать технический аудит через ту же лабрику.
В целом, может быть все что угодно, нужно видеть «пациента», иначе это гадание на кофейной гуще.