Я полагаю, что "готовиться к олимпиадам" не нужно вообще. Закавыченное словосочетание предполагает чересчур прямолинейное и прагматичное отношение к занятиям математикой.
Поэтому дальше я собираюсь отвечать на более широкий вопрос - с какого возраста следует заниматься математикой и как именно?
Универсальный ответ, увы, будет банальным и потому не слишком ценным: заниматься математикой стоит начинать тогда, когда появился интерес к таким занятиям. Это может быть и в три года, и в семь, и в пятнадцать. Правда, "в пятнадцать" бывает значительно реже, - но все равно бывает.
Что следует понимать под "интересом"? Да почти что угодно. Нравится умножать в столбик числа? Прекрасно. Нравится рисовать геометрические фигурки на бумаге? Тоже неплохо. Нравится собирать кубик Рубика или "пятнашки"? Вообще здорово. Обожаете играть в шахматы и решать шахматные задачи? Наш человек!
Все эти примеры - не математика, но занятия, развивающие те же самые качества и умения, которые будут востребованы при занятиях математикой.
А вот как правильно заниматься - это очень сложный вопрос. Обычно я всем рекомендую записаться к хороший математический кружок, и тем самым доверить своё обучение профессионалу или хотя бы "крепкому любителю" математики. Но если почему-либо с кружком не получилось, то не стоит опускать руки: есть очень много математических книжек для читателей с самым разным уровнем подготовки, есть многочисленные ресурсы в интернете и мобильные приложения. Главное - помнить, что успех приходит не после авральной "подготовки к олимпиаде", а в результате продолжительной работы над собой. И если вам такая работа нравится, то главным успехом будет не просто результат в очередном соревновании, а осознанный выбор жизненного пути.