Почему вампиры и демоны - это мистика, а русалки и эльфы - фэнтэзи? Чем на самом деле отличаются фантастика, фэнтэзи и мистика? Каких существ куда относить?

Любая сложная система (будь то кинематограф, литература или искусство в целом) нуждается в классификации, потому что в неструктурированном виде пользоваться информацией намного сложнее. Систематизация происходит с трёх сторон: изнутри (создатели, творцы), снизу (зрители, читатели, слушатели) и сверху (критики).

Основные критерии систематизации текстовых сюжетов (литература, театр, кинематограф) - это эмоциональная окраска (весело/грустно) и степень достоверности (соответствия реальному миру).

В настоящее время существует множество сюжетов, в разной выходящих за рамки реальности. Это сказки, мифология, научная фантастика, фэнтэзи, альтернативные миры, утопии и антиутопии, включая их комбинации. Чтобы разобраться в этом пространстве приходится прибегать к условным обозначениям (понятиям), которые фиксируют принципиальные различия.

Если говорить конкретно о направлениях, указанных автором вопроса, то они отличаются по степени достоверности:

• фантастика - основана на законах природы, и появление каких бы то ни было тварей требует "научного" объяснения (откуда или почему взялись вампиры?). Фантастика бывает эмоционально разной - от комедии до трагедии;
• мистика - действие происходит в относительно реальном мире, только в нём имеются существа (обычно злобные), которых мы не замечаем. Отдельное направление - околорелигиозная мистика (Дракула с Ван Хельсингом). Обычно мистика носит мрачный оттенок, приближаясь к ужасам;
• фэнтэзи - много вымысла, касающегося устройства мира (магия, существа, опровергающие физические законы, социум, опровергающие законы истории и экономики). В эмоциональном плане этот "жанр" ближе к позитивному краю шкалы.
  Резюме: указанных существ можно встретить в любом из "жанров", хотя они предпочитают благоприятную "среду обитания".