Смотря чем вы планируете заниматься.
Если тупо кодировать, что сверху приказали, и не выходить за рамки, скажем, простых веб-сайтов - то, конечно, можно.
Если вы хотите серьезно, с пониманием программировать ту же графику - без тригонометрии, например, не обойтись. Для определенных вещей нужно понимание физики, например. Все зависит от конкретной сферы деятельности. Чем больше знаешь и умеешь - тем больше путей для развития тебе открыто. Малые знания оставляют в жизни слишком узкие дороги...
В любом случае, я бы не стал гордиться тем, что добился успеха, чего-то не зная :)
С какого языка начинали, и какие программы делали, если не секрет?