«— Значит тот, кого зовут Ралтарики, и в самом деле демон? — спросил Так.
— И да, и нет, — отвечал Яма. — Если под «демоном» ты понимаешь злобное, сверхъестественное существо, обладающее огромной силой, ограниченным сроком жизни и способностью временно принимать практически любую форму, тогда ответ будет «нет». Это — общепринятое определение, но в одном пункте оно действительности не соответствует.
— Да? И в каком же это?
— Это не сверхъестественное существо».
(цы) Желязны, «Князь света».

Дальше, конечно, Так спрашивает, какая нафиг разница, если это злобное меняющее форму существо может в любой момент тебя прибить, а Яма ему доходчиво объясняет разницу между «еще непознанным» и «в принципе непознаваемым» (перечитывая этот фрагмент, я в очередной раз задумалась, почему мне вечно запоминаются боги смерти в разных историях. Мой тип, видимо:))
Так вот, примерно здесь и проходит граница между фантдопущениями.

Мой любимый профессор Рабкин называет три ключевых параметра, по которым выделяется именно НФ.
Фантастическое допущение делается возможным с помощью научной риторики. Не «он прошел через волшебный портал и перенесся в загадочную страну Переплюк», а «он телепортировался на планету Переплюк благодаря порталу, созданному по технологии, открытой древней цивилизацей переплюкцев и с тех пор, к сожалению, утерянной». Неважно, насколько действительно «научна» эта технология и как ка-гамма-плазмоин переходит в мю-дельта-ионопласт.
Приключения! в НФ всегда есть приключения! У нас будут таинственные цивилизации! У нас будут межзвездные путешествия! У нас будет драма-драма!
Именно поэтому если у нас в двух книгах будет одинаковое фантастическое допущение (и даже если авторы будут делать очень схожие выводы из этих фантдопущений), но в одной книге в результате главный герой сначала потерпит крушение на необитаемом острове, потом будет там выживать среди диких племен, потом захватит власть, а потом будет вынужден уносить ноги, пока его не съели — это будет НФ. А если вся книга после фантадопущения будет крутиться вокруг проблемы, как выжить в одной квартире с мерзким соседом — то как НФ ее никто навскидку не опознает, это будет уже простая великая русская литература:)
НФ — жанр, который предлагает удовольствие от размышлений, удовольствие «поломать голову» — а что будет, если так? А если вот так?
Разумеется, зубодробительность предполагаемых размышлений будет очень сильно отличаться от автора к автору. Но НФ как жанр в принципе предполагает введение фантастического допущения — и рассмотрения того, что из этого фантастического допущения вытекает. НФ в принципе предполагает, что если у нас случается что-то фантастическое и необычное, то мы можем подумать, «что это такое было» и так или иначе прийти к каким-то выводам.

А что же фэнтази и мистика? А фэнтази и мистика не предполагают анализа фантдопущения с рациональной точки зрения. Это очень смешно обыграл Юдковский в «Гарри Поттере и методах рационального мышления»:
— Гарри, ты можешь говорить со змеями! Ты — наследник Слизерина!
— …ЗМЕИ РАЗУМНЫ?!
А дальше Рациональный Гарри долго мучается вопросом, не наделяет ли волшебник змей самосознанием, когда с ними разговаривает, и не случается ли такого с курами, коровами и растениями, и не съел ли он на обед случайно кого-нибудь разумного, и чем ему питаться, чтоб не умереть с голоду:))))

Роулинг нужно фантастическое допущение про говорящих змей, Наследника Слизерина и змееустов для того, чтобы рассказать о сложностях жизни подростка в закрытой школе — и чтобы это было интересно.
А Юдковскому нужно совсем другое — ему интересно думать, как могла бы быть устроена магия, если бы она действительно работала так, как ее описала Роулинг. Правдоподобность школьной жизни Гарри и сходство его с обычным школьником его нисколько не интересует.

Если НФ обращается к сфере рацио, то мистика обращается к эмоциональной сфере.
НФ работает за счет того, что максимально проговаривает связи и закономерности.
Мистика работает за счет того, что оставляет множество лакун, которые читатель сам заполняет с помощью того, что лежит у него в подсознании.
НФ старается понять.
Мистика пытается ощутить.
НФ имеет дело с законами природы, которые можно постичь и сформулировать.
Мистика имеет дело с принципиально непостижимыми Высшими Силами.

И вот тут начинается самое интересное. Во-первых, граница между мистикой/фэнтази и НФ — не Великая Китайская стена. Вот, казалось, бы, нет НФ тверже лемовской, и то «Солярис» заканчивается словами: «Но я твёрдо верил в то, что не прошло время ужасных чудес».
Во-вторых, сами авторы далеко не всегда отдают себе отчет, чем именно они оперируют и к чему обращаются в данный момент. Поэтому, скажем, в свое время Брэдбери не любили коллеги по цеху за излишнюю «мягкость» его фантастики (а Брэдбери в каком-то плане очень сильно наследник По и его традиции изысканных ужасов).
И, в-третьих, человеческая фантазия, то, что автор может вообразить, всегда является производной от авторского опыта и его собственной картины мира. Если автор не мистик по ощущению, то даже самая добросовестная попытка реконструкции религиозной картины мира у него не получится (см. Теда Чана и «Ад — это отсутствие бога», а также Скальци и его «Божьи Двигатели»). Если автор во что-то пылко уверовал, то это будет сказываться на его повествовании даже тогда, когда автор будет глубоко уверен в собственной рациональности (см. Юдковского и трансгуманизм). Тут следует отдельно отметить, что автор не обязательно верит во что-то хорошее или в какие-то высшие силы. Может быть, он просто верит, что Все Тлен И Абсурд, как тот Кафка:)
Значит ли это, что жанры в принципе нельзя разделить?
На мой взгляд, можно — и мы можем это сделать, если посмотрим на то, какими способами герои действуют так, чтобы получить результат.
Если герой _подумал_, _осознал_закономерность_, предпринял какое-то действие и получил результат — это скорее НФ.
Если герой сонастроился/договорился с Высшими Силами, на него снизошло озарение, он предпринял какое-то действие и получил значимый результат — это скорее мистика/фэнтази.