Если мне не изменяет память, на его имя было наложено табу. В "Дарах смерти" тех, кто называл его имя, тут же ловили Пожиратели Смерти. Точно не помню, упоминалось ли это в фильмах, но в книгах точно говорилось.
Ну и, конечно же, говорила Гермиона, что "страх перед именем только усиливает страх перед тем, кто его носит". Его просто боялись, поэтому лишний раз не упоминали вслух.
А ещё, возможно, его имя для некоторых было сложным. Всякое же бывает.
Как преподаватели не выговаривают фамилии? :D