Про robots.txt - запрет нужен. Без этого страница может снова быть проиндексирована, если она не отдаёт 404 ответ. Если отдаёт 404 - сама отвалится, просто наберитесь терпения. Переобход тут не всегда помогает, т.к. он не влияет напрямую на обновление выдачи. Робот обращает внимание на robots.txt, но для него это лишь приоритетный сигнал, не более того. Это приблизительный ответ Платона, спрашивал лет 5 назад.
SEO крайне медленная фигня :) Из последнего - description страницы изменился в выдаче спустя 3 недели после реального изменения. И да, это с переобходом в Я.Вебмастере в день изменения. Такая история.