Рукотворные роботы «Яндекса» атакуют! — и переворачивают Россию

Компания «Яндекс», благодаря своему монопольному положению в российской части интернета, формирует информационную повестку России, продвигает «любимые» ею СМИ и задвигает «нелюбимые». Кого продвигают «роботы» «Яндекса» и зачем?

ИА REGNUM подает в Федеральную антимонопольную службу (ФАС) жалобу на компанию «Яндекс». По мнению ИА REGNUM, «Яндекс», будучи фактическим монополистом на рынке интернет-СМИ, посредством манипуляции с рейтингом СМИ в топ-5 «Яндекс.Новости» систематически нарушает закон «О защите конкуренции», создавая привилегированные условия для одних и тех же СМИ. Формируя новостные «топы», «Яндекс» создает преимущества определенному кругу субъектов информационного рынка, ущемляя интересы других, чем нарушает антимонопольное законодательство. Постоянное продвижение «Яндексом» определенной группы СМИ фактически является их ненадлежащей рекламой и создает недобросовестную конкуренцию. В связи с этим ИА REGNUM просит ФАС:

1. Признать действия ООО «Яндекс», выражающиеся в формировании «Топа новостей», ранжировании новостей по их производителям нарушениями ч. 1 ст. 10 и ст. 14.3 Федерального закона от 26 июля 2006 г. N 135-ФЗ «О защите конкуренции».

2. Выдать ООО «Яндекс» предписание о прекращении нарушения антимонопольного законодательства с запретом выноса «Топа новостей» на главную поисковую страницу.

Для обоснования жалобы и точного понимания того, как работают топы «Яндекс.Новостей», ИА REGNUM провело специальное расследование. В течение 43 суток, с 15 ноября по 27 декабря 2017 года, каждые 15 минут мы делали скриншоты главной страницы «Яндекса» и первых страниц выдачи тех пяти новостей, которые были вынесены на тот момент в топ «Яндекса». Потом данные с этих скриншотов: заголовки новостей из топа и их место в топе; СМИ, представленные на первой странице, и их место под новостью; время, когда в каждом СМИ появлялась соответствующая новость и т.п. — заносились в базу данных.

Таким образом, у нас собралась база, в которой было 4118 замеров (всего их могло быть 4128, но несколько раз скриншоты сделать не удалось из-за технических неполадок), в каждом из замеров было по 5 заголовков (новостей) топа, к каждому заголовку были приписаны 9 СМИ с первой страницы выдачи этой новости — с их собственными заголовками и временем выхода соответствующей новости в этих СМИ.

Всего в нашу базу за всё время измерений попало 335 разных СМИ, из них 275 (82%!) встречалось менее чем в 2% замеров, а 237 (71%!) — менее чем в 1% замеров.

Число попаданий разных СМИ на первую страницу выдачи для новостей из топ-5 «Яндекс.Новостей» за всё время измерений

Полная версия таблицы доступна в отдельном файле

Что это означает на практике? Это означает, что когда бы человек ни зашел на главную страницу «Яндекса» и какую бы новость из топ-5 «Яндекс.Новостей» ни кликнул, с вероятностью 100% он увидит на первой странице выдачи по новости РИА Новости, RT на русском, «Известия» и ТАСС. А с вероятностью более 95% — «Газету.ru», РБК и Интерфакс. Вероятность 100% — это значит всегда (да и 95% — это тоже практически всегда). Это значит, что 7 из 9 мест на первой странице новости всегда заняты этими СМИ, а все остальные СМИ борются, по сути, за попадание на оставшиеся два места. При этом и в этой борьбе шансы, скажем прямо, далеко не равны: например, шансы Life.ru попасть на одно из оставшихся двух мест в два раза ниже, чем у «Комсомольской правды» и «Коммерсанта».

Нет никаких сомнений, что РИА Новости, RT на русском, ТАСС и пр. — большие уважаемые агентства, и то, что они оказываются постоянно в топ-5 рейтинга «Яндекс.Новости», неудивительно. Удивительно другое — что на первой странице выдачи новостей оказываются практически только они, вне зависимости от того, были ли их новости первыми, были ли они эксклюзивными, удачный ли был у них заголовок и т.п., — то есть вне зависимости от каких бы то ни было понятных причин. Более того, сплошь и рядом эти «привилегированные» СМИ как раз НЕ являются ни первоисточниками новостей, ни держателями эксклюзива, ни авторами суперзаголовков, ни производителями действительно качественных новостей (а не новостей в одну строку без начала и конца, но с грамматическими ошибками).

При этом важно, что и РИА Новости, и ТАСС, и «Известия», и прочие «любимцы «Яндекса», — равноправные (мы надеемся) участники «рынка новостей» в интернете, и тот факт, что они обладают привилегией всегда находиться на первой странице выдачи новостей топ-5 «Яндекса», тем самым нарушая права всех остальных участников этого рынка, давно должно было взволновать их самих. Но, понятное дело, их это не волнует, так как попадание на первую страницу выдачи новостей топ-5 «Яндекса» приносит им большой трафик, а значит — прямую выгоду. Причем постоянное пребывание на первой странице выдачи новостей топ-5 «Яндекса» создает мультиплицирующий эффект по двум причинам. Во-первых, другие СМИ, разнося новости, больше ссылаются на те СМИ, которые есть на этой самой первой странице, то есть у них растет индекс цитируемости, количество ссылок и переходов, которые наверняка используют доблестные «роботы» «Яндекса», чтобы обосновать присутствие «правильных» СМИ на первой странице. Во-вторых, люди, как известно, предпочитают получать информацию из известных им источников, поэтому, поглядев годик на одни и те же СМИ в топе «Яндекса», они начинают намеренно выбирать и искать новости именно этих СМИ, что опять же приводит к росту трафика, перепостов и ссылок.

Нам говорят, что попадание новостей СМИ в топ-5 новостей «Яндекс.Новостей» определяется «роботами» — то есть алгоритмами, которые учитывают множество каких-то не известных нам параметров, но лишены субъективности, потому что, дескать, «роботы» не люди, они учитывают только объективные параметры. Да, конечно, алгоритмы лишены субъективности, если она не заложена в них изначально человеком — в виде, например, «веса» СМИ, который проставлен в алгоритм априорно и «перебивает» все остальные параметры, которые учитываются алгоритмами. Полученные в исследовании ИА REGNUM данные доказывают использование в «Яндекс.Новостях» таких заведомо установленных «весов» для разных СМИ: иначе как произвольным «продвижением» определенных СМИ в топ «Яндекса» невозможно объяснить полученные данные (по законам статистики, если бы работали реальные «роботы», использующие реальные алгоритмы, которые бы учитывали реальные параметры новостей, а не заранее заданные веса, то на первой странице выдачи у каждой новости было бы значительно большее разнообразие СМИ; ситуация, когда несколько СМИ присутствуют там всегда, статистически невероятна).

Вероятность присутствия СМИ в топе «Яндекса»

Результаты анализа полученных данных не оставляют никаких сомнений в том, что «Яндекс» постоянно «продвигает» в топы группу одних и тех же СМИ, ущемляя при этом интересы всех остальных СМИ. Достаточно сказать, что вероятность попадания на первую страницу выдачи под хотя бы одной из новостей из топ-5 «Яндекс.Новостей» и время «висения» СМИ в топ-5 «Яндекса» с разными новостями отличается для разных федеральных и известных СМИ в разы. Кроме того, есть небольшая, но, видимо, замечательная группа СМИ, для которых вероятность одновременно находиться на первой странице выдачи всех 5 новостей из топа превышает 10%: это РИА Новости, «Известия», ТАСС, RT на русском, «Комсомольская правда» и РБК. Чем новости именно этих СМИ так нравятся «роботам» «Яндекса», понять невозможно, однако необходимо: ведь от попадания в топ новостей «Яндекса» зависит бизнес всех остальных СМИ.

Нам могут сказать, что эти СМИ, новости которых присутствуют на первой странице выдачи под каждой новостью, действительно замечательные и действительно отличаются от всех остальных СМИ, потому что качество их новостей значительно лучше, чем у прочих. Дескать, писали бы все остальные СМИ по-настоящему качественные новости — и тоже были бы всегда на первой странице выдачи. И мы бы, может быть, и согласились с этим аргументом (хотя на первой странице выдачи всего 9 мест, и все СМИ туда физически не влезут), если бы не два важных обстоятельства. Первое — это статистика. Если качество некоторых новостей у какого-то СМИ еще может быть лучше соответствующих новостей у другого, то так не может быть со всеми новостями, статистически невероятно, что качество всех новостей RT на русском, например, значимо лучше, чем качество всех новостей агентства SPUTNIK или Интерфакса. Второе — и главное — обстоятельство состоит в том, что, по нашим данным, никакие «роботы» и алгоритмы не могут определять качество текстов, оценка «качества», так как искусственный интеллект пока не создан, остается пока прерогативой человека. Поэтому, если это «роботы», то они не могут оценить качество новостей, а если всё же дело в качестве — то это значит, что оценивают новости совсем не роботы, а люди. Ну, а поскольку новостей очень много, и, чтобы в режиме реального времени сравнивать их качество, понадобилось бы очень-очень много людей (сотни как минимум), которые — внимание! — все бы понимали, что такое «качественная новость», одинаково, то вариант «люди» тоже не вызывает никакого доверия. Остается один вариант — «качество» новостей оценивается заранее и виде выше обсужденных весов закладывается в алгоритм, по которому работают «роботы». И, как говорят математики, задача сводится к предыдущей: получается, что роботы «Яндекса» произвольно продвигают в топ «Яндекс.Новостей» одни и те же СМИ.

Нам говорят, что «роботы» «Яндекса» не только совершенно объективны, так как роботы, но и алгоритмы их работы (которые, напомним, написаны людьми, которые субъективны по определению, а по многим разным причинам еще и, как правило, ангажированы) «совершенно секретны», так как это «коммерческая тайна». И мы понимаем компанию «Яндекс»: она же занимается бизнесом, хоть в «Яндекс.Новостях» и работают одни «роботы». Раз алгоритмы «роботов» — коммерческая тайна, ясно, что деятельность «роботов» как-то связана с успехом бизнеса «Яндекса». Как именно — гадать не будем, но даже человек без всякого воображения легко предложит несколько вариантов повышения прибыльности «Яндекса» за счет продвижения к потребителям и фактически рекламы одних и тех же СМИ в новостях топ-5. Как говорится, бог им судья.

Но! К несчастью, деятельность секретных «роботов» также сказывается и на бизнесе всех участников рынка интернет-СМИ. Чтобы на равных конкурировать друг с другом, необходимы равные условия, одним из которых, очевидно, является прозрачность условий попадания в верхние строчки выдачи новостей топ-5 «Яндекса».

Так что более матери-истории и России ценно: прибыли «Яндекса» от непрозрачного топа «Яндекс.Новостей» или развитие рынка свободных СМИ? Вопрос, конечно, риторический, потому на сегодняшний день очевидно, что прибыли «Яндекса» важнее, а рынок свободной информации — пусть выживает как хочет.

В нашем исследовании мы попробовали «вычислить» особо любимые «Яндексом» СМИ, не претендуя, естественно, на угадывание секретных алгоритмов «роботов», — просто из любви к искусству. СМИ в целом и информационные агентства в частности отличаются друг от друга, как понятно, многими параметрами: штатом (от нескольких людей до тысяч сотрудников), способом работы (можно самим производить новости, то есть добывать их, а можно только «списывать» у других производителей), наличием или отсутствием корреспондентской сети, распространенностью этой сети, охватом тематики, которой занимается СМИ, и пр. и др. Все эти параметры в конечном счете приводят, в частности, к определенной «производительности» СМИ, которая может быть выражена в количестве новостей (сообщений), которое СМИ выдает в среднем за сутки. Теоретически чем больше (разных) новостей производит СМИ, тем больше должна быть вероятность, что это СМИ попадет в число тех, кто дал информацию быстрее и лучше других, а значит (простите нас, «роботы»), это должно сказываться и на попадании СМИ на первую страницу выдачи новостей топ-5 «Яндекса». Поэтому мы взяли и сравнили среднее число попаданий СМИ на эту первую страницу (вычисленное по базе данных нашего исследования) и среднее количество новостей, производимым этим же СМИ в день (вычисленное по базе СМИ «Яндекса» за тот же период, в который проводилось исследование). Результаты оказались очень интересными.

Среднее за сутки количество новостей СМИ, находящихся в топ-5 «Яндекс.Новости»

Суть использованного коэффициента, если очень схематично, состоит в том, что любая новость РБК попадает на первую страницу выдачи топ-5 «Яндекса» с вероятностью 243% (мы знаем, такой вероятности не бывает, но тем не менее), а любая новость агентства SPUTNIK — с вероятностью 15%. Почувствуйте разницу, как говорится. Также это значит, что каждый чих «Коммерсанта» точно окажется в топе, каждый чих «Ведомостей» — с вероятностью 74%, а «Дождя» — с вероятностью 49%. Что же касается новостей такого всемирно известного агентства, как ТАСС, то там вероятность всего 67% — пусть работают, а «роботы» «Яндекса» потом секретно решат, надо ли людям знать об этих новостях. Становится действительно интересно, как сформированы эти странные предпочтения «роботов», какие у них взгляды на жизнь, патриотичны ли они, и пр. Но об этом — позже.

Сейчас еще немного про многогранную деятельность «роботов» «Яндекса».

Когда новость попадает в топ-5, то на первой странице выдачи по каждой новости СМИ тоже стоят в определенном порядке, каковой порядок также не безразличен для СМИ: новости от СМИ, стоящего на первом месте, кликают чаще, чем стоящие на всех других местах, новости от СМИ на втором месте — чаще, чем новости ниже, а новости от СМИ, стоящие на последнем, 9-м месте, кликают совсем редко.

Если в расстановке СМИ по этим девяти местам также участвуют «роботы», то доли попаданий СМИ на каждую из 9 позиций должны быть примерно сравнимыми, либо изменяться по какой-то логике, которая всегда лежит в основе алгоритмов. Но какой логикой, кроме заранее субъективно проставленного «веса», о котором мы уже говорили выше, можно объяснить, например, что все 2393 (за исключением 9) новости информационного агентства SPUTNIK, бывшие на первых страницах выдачи новостей топ-5 за всё время нашего исследования, стояли на 9-х местах?

Проценты случаев, в которых каждое СМИ (для 45 наиболее часто присутствующих в топ-5 «Яндекс.Новости») стояло на каждом из 9 мест на 1-й странице выдачи для новостей из топ-5 «Яндекс.Новостей»

Итак, что мы имеем в результате проведенного исследования? Мы теперь совершенно уверены (а раньше — только подозревали вместе со всеми остальными участниками рынка интернет-СМИ), что топ-5 «Яндекса» очевидным образом продвигает и рекламирует совершенно определенную маленькую группу СМИ, при этом задвигает (в «Яндексе» говорят «пессимизирует») все остальные СМИ, которые в эту группу не входят. Причем делается это в коммерческих интересах «Яндекса», по-русски — в корыстных интересах, кто бы что по этому поводу ни думал и ни говорил.

Именно поэтому ИА REGNUM подает в Федеральную антимонопольную службу (ФАС) жалобу на компанию «Яндекс», в которой просит признать действия «Яндекса» нарушающими закон «О защите конкуренции» и запретить использование топ-5 новостей на главной странице «Яндекса».

Поскольку правила и алгоритмы работы «роботов» «Яндекса» скрываются от участников рынка как «коммерческая тайна», то монополист-«Яндекс», очевидно, и далее собирается манипулировать российскими СМИ, решая, кому из них жить и развиваться, а кому — разоряться, кому дозволено говорить с Россией, а кому — нет. На этом месте хочется спросить: а кто назначил «Яндекс» (зарегистрированный за границей, между прочим) рулить СМИ в России? И не только СМИ, но всей информационной политикой страны?

Заявление ИА REGNUM принято в ФАС

Как сказал бы современник ныне очень известного в медиа Маннергейма, тов. Сталин, теперь «даже слепой видит», чему служит медийная монополия «Яндекса», который полностью подчинил себе не только все СМИ в России, но, что ещё важнее — все государственные СМИ, а что самое важное — который формирует информационную повестку в России. Монополия «Яндекса» (как и любая другая) служит только одному — коммерческим интересам «Яндекса». И получается, что именно коммерческим интересам «Яндекса» и служит вся государственная пропаганда.

Но у «Яндекса» и его «партнеров» есть не только коммерческие интересы, но и политические, каковым «Яндекс» служит так же верно, как и коммерческим, используя все СМИ России, включая — и в первую голову — государственные СМИ, для их достижения. Но об этом — в следующей статье.

ИА REGNUM