Может ли существовать пространство с нецелым количеством измерений? Какие формулы линейной алгебры или физики допускают такие пространства?

Во-первых несколько неплохих ответов уже было, в частности очень неплох ответ Леонида Коганова. 

Во-вторых, само по себе понятие "измерений" достаточно неудачно. Всё-таки обычно говорят о размерности пространства, но тут вкладываются разные смыслы.

Зачем нужны такие экзотические определения? Самый простой ответ — для изучения фракталов. Это своего рода самоподобные фигуры, про них написано много книжек, даже и не берусь советовать что-то конкретное. 

В целом я достаточно скептично отношусь к фракталам, мне не кажется что это супер-мейнстрим, но нельзя не отметить, что они иногда возникают и в прикладных задачах. В частности, есть такая штука, которая называется "странными аттракторами". Вообще аттрактором называется такое множество, которое "притягивает" к себе траектории. В частности, оказывается, что иногда такие вот аттракторы могут иметь дробную ляпуновскую размерность, т.е. по сути являются фракталами. В прикладном смысле такие штуки возникают например в задаче конвекции морской воды в плоском слое (странный аттрактор Лоренца) и для других задач такого сорта. 

Я, честно говоря, не большой специалист в таких задачах, и слыхал что есть предположение что такие "странные аттракторы" являются в некотором смысле артефактами моделей, но в целом нельзя не отметить, что задачи, которые порождают такие структуры — вполне себе прикладные.

Ну и хочется ещё сказать, что у странных аттракторов как раз размерности нецелые. 

Ну, а про формулы — думаю стоит приступить к изучению УрЧП (или УрМатФиз, кому как нравится) — и удовлетворять своё любопытство в ходе более регулярных штудий.

Ну и картинка, не всё же читать-то :-) тот самый странный аттрактор Лоренца для одной из задач (картинка из википедии)