Язык математики - сухой, строгий, чувств не выражает. Литература создана для размышлений о материях, которые математике не подчиняются. В этой связи вопрос о создании литературного произведения на языке математики - скорее об эксперименте, и результат зависит исключительно от упорства автора идеи. Литературным произведением в полном смысле этого слова такое творение назвать нельзя.
На ум приходят попытки изобразить манеры известных поэтов с помощью перечисления чисел.
Для примера приведу подражание Пушкину:
17 30 48
140 10 01
126 138
140 3 501
Забавно, похоже, но смысловой нагрузки нет.
Гораздо легче облачить литератуту в математические формы.
Пример тому - фигурные стихи. В двух словах - это когда автор выстраивает из строк графический рисунок. Чтобы понять, что это, достаточно один раз увидеть хотя бы стихотворение Валерия Брюсова "Треугольник": https://ru.wikisource.org/wiki/%D0%A2%D1%80%D0%B5%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D0%B8%D0%BA_(%D0%91%D1%80%D1%8E%D1%81%D0%BE%D0%B2)
Особого художественного смысла такой рисунок также не дает, и чаще даже наоборот, рисунок сохраняется в ущерб смыслу.
Любые рамки в литературе - будь то ограниченный лексикон, жёсткие правила цензуры, стремление следовать какому-то стилю - редко когда приводили к появлению отличных книг.
В литературе, как и в других видах искусства, формы нужно не соблюдать, а создавать.
Из этой же серии небольшой стих Маяковского:
2 46 38 1
116 14 20!
15 14 21
14 0 17.
Написать можно что угодно, однако, на математическом языке это литературное произведение будет читаться как математическая теорема, что довольно скучно и неинтересно