Частотный анализ текста по методу Носовского-Фоменко

Как нам всем давно известно, никакого царя Иоанна Грозного не существовало. Вместо него было четыре разных исторических персонажа. Не верите? Какое поразительное средневековое невежество! Новейшие исследования выдающихся докторов исторических наук Г.В. Фоменко и А.Т. Носовского показывают, что человечество много поколений на уроках в школе изучает полную чушь.

И это, заметьте, при том, что используются уникальные научные методики, до которых со времён Мавро Орбини никто не додумывался.

А сегодня мы опробуем уникальнейший из методов наших академиков: частотный анализ текста. Да, это очень интересный способ выявления авторства документов. Ведь у каждого автора свой неповторимый стиль. Смотрим частоту употребления тех или иных служебных слов - и сразу всё становится ясно, кто на самом деле написал текст, а кому его только лишь приписывают разного рода фантазёры.

Тут некоторые вздумали критиковать метод, но он же работает, и мы в этом сейчас убедимся.

Итак, возьмём несколько текстов якобы одного автора и продемонстрируем, что на самом деле они, вероятно, написаны разными людьми.

На беду, я уже удалил со своего компьютера все книжки авторов ТИ за полной ненужностью, чтобы освободить место на диске. В моей библиотеке больше нет этого мусора, есть только книжки самих Фоменко и Носовского. Ну, не беда, метод же универсальный, значит, и тут пригодится.

Всего я нашёл книжек 37 штук:

1: Будда и Кришна — отражения Христа
2: Истину можно вычислить
3: Методы статистического анализа исторических текстов (часть 1)
4: Методы статистического анализа исторических текстов (часть 2)
5: 400 лет обмана. Математика позволяет заглянуть в прошлое
6: Троянская война в средневековье
7: Правильно ли мы понимаем историю Европы и Азии? Книга I
8: Правильно ли мы понимаем историю Европы и Азии? Книга II
9: Правильно ли мы понимаем историю Европы и Азии? Книга III
10: Правильно ли мы понимаем историю Европы и Азии? Книга IV
11: Правильно ли мы понимаем историю Европы и Азии? Книга V
12: Русско-Ордынская Империя. Книга IV
13: Средневековые хронологи «удлинили историю»
14: Бог войны
15: Чудо света на Руси под Казанью
16: Доктор Фауст (Христос глазами антихриста)
17: Дон Кихот или Иван Грозный
18: Математическая хронология библейских событий
19: Пегая Орда. История «Древнего» Китая
20: Русь и Орда. Великая империя средних веков
21: Великая смута. Конец Империи
22: Пасха
23: Татаро-монгольское иго. Кто кого завоевывал
24: Славянское завоевание мира
25: Калиф Иван
26: Сенсационная гипотеза мировой истории. Книга I
27: Сенсационная гипотеза мировой истории. Книга II
28: Русско-Ордынская Империя. Книга III
29: Реконструкция Куликовской битвы. Параллели китайской и европейской истории
30: Англия и «Древняя» Греция. Подлинная дата Рождества Христова
31: Славяно-тюркское завоевание мира. Египет
32: Русско-Ордынская Империя на страницах Библии
33: Мятеж Реформации. Москва – ветхозаветный Иерусалим. Кто такой царь Соломон?
34: Колонизация Америки Русью-Ордой в XV–XVI веках
35: Ответ некоторым авторам, недовольным нашими исследованиями по хронологии
36: Последний путь Святого семейства
37: Реконструкция подлинной истории

Посчитаем общее количество всех слов во всех книжках и отсортируем их в порядке убывания количества использований. Из топ-100 выкинем разного рода мусор, который нет смысла считать вспомогательными словами (там были слова "истории", "рис", "г", "э" и многие другие сокращения). Останется список из 66 слов:

в и на с что не а то по как из это о к мы же есть его от до но или он был так было при были якобы все для их во уже они была после здесь еще за ее только у лишь того также этом когда бы под даже об между этот где этого однако если эти нам очень она нашей поэтому со быть

Теперь посчитаем общее количество выбранных слов и процент каждого из слов в этой выборке. Получим следующую таблицу:

Как мы видим, распределение хромает на все три ноги. Давайте же выявим, какие отклонения наиболее значительны. Как нетрудно заметить, статистически значимы лишь первые пять строк, в остальных вклад в основном не достигает 3%, так что ими можно пренебречь. В выборке остаются следующие слова:

в и на с что

Посчитаем распределение этих слов:

Видно, что далеко не все тексты повторяют один и тот же порядок слов по отсортированному проценту вхождений в выборку. В указанной таблице они помечены разными цветами. Имеем три принципиально различных авторских стиля:

Порядок в-и-на-с-что: тексты 1,7,14-17,23,26,36,37 (всего 10, зелёный цвет)
Порядок в-и-с-на-что: тексты 2-6,18-22,24,25 (всего 12, жёлтый цвет)
Порядок в-и-на-что-с: тексты 8-13,27-35 (всего 15, оранжевый цвет)

Таким образом, указанные тексты были написаны по меньшей мере тремя разными авторами либо коллективами авторов. По всей видимости, часть указанных трудов написана лично Фоменко, другая часть - лично Носовским, третья - в соавторстве. Но для установления истины нужны более детальные исследования, в процессе которых мы, несомненно, убедительно опровергнем всё вышенаписаное как полную чушь.