На мой взгляд, все зависит от того, какие цели Вы ставите. Если хотите вырастить билингва, то с рождения, если просто хотите, чтобы ребенок знал язык, лет с 3-4 можно начинать учить простые слова и фразы, смотреть мультфильмы на языке. Есть много методик по обучению маленьких детей иностранным языкам. Однако есть мнение экспертов, что слишком раннее обучение детей всему, чему только можно не очень для них полезно. Например, можно ознакомиться вот с этим видео
В остальном все зависит от Вас, от Ваших возможностей и умения заинтересовать ребенка. Ведь маленьким должно быть прежде всего интересно учить язык.