Если я правильно понял вопрос, то ответ такой:
Буквы и цифры были когда-то давно придуманы как графические знаки для записи того, что произносит человек. Это нужно и "для памяти" и для общения при отсутствии прямого контакта. Соответственно, раз буквы обозначают звуки, то их можно произнести, "выговорить". А как выговорить числа или количество? Либо надо произнести соответствующие слова, предназначениы для обозначения количества ("один", "два", "сто двадцать три" и т.д.), либо просто представить себе это количество. Собственно, цифры - это сокращенная запись слов-числительных. Просто так короче. Сравните: "1234" или "одна тысяча двести тридцать четыре"...
Сюда же можно отнести и другие математические знаки, например знак извлечения квадратного корня, знак интеграла, знак сложения и т.д. Эти знаки придуманы для того, чтобы кратко и наглядно записывать то, что, в принципе, можно произнести и записать словами.
Так что "выговариваем" мы только те буквы, которыми записаны звуки. Вместо остальных "букв" (цифры, математические знаки и прочее) мы произносим соответствующие этим буквам/знакам слова.