США, возможно, впервые в истории автоматизировали управление «цветными» революциями. Нам нужен быстрый ответ.
Будучи разработчиком программных продуктов, предназначенных для анализа и визуализации агрегированных данных больших массивов, мне посчастливилось участвовать во внедрении нескольких подобных решений для интернет-индустрии. Изучив механизмы сбора, хранения и обработки трафик- и финансовой информации в компаниях электронной коммерции, социальных сетей или оплаты-за-клик, стало понятно, какое могущество могут получить в свои руки структуры, оседлавшие глобальные киберпотоки.
Все ниженаписанное – не просто плод отвлеченных размышлений, но переосмысление внедренных и работающих на клиентов осязаемых результатов поразительной мощи современных инструментов бизнес-аналитики. Мои догадки о существовании глобального механизма анализа интернет потоков, контента соцсетей и особенностях его функционирования были подтверждены разоблачениями Сноудена и обнародованием топ-секретной презентации АНБ http://www.washingtonpost.com/wp-srv/special/politics/prism-collection-documents/.
Я не вижу препятствий к появлению полностью автоматизированной глобальной системы для измерения, управления коллективным эмоциональным. Корпорации уже давно строят элементы бизнес-аналитики для повышения эффективности и прибыльности своей деятельности. Надо просто творчески применить уже широко известные методы, с поправкой на необходимость масштабирования задач под астрономические объемы данных.
Но и это поправимо. Сноуден поведал миру о планах использования в серверах оперативной памяти петабайтных размеров. В США строятся гигантские хранилища данных, которые будут вмещать экзабайты. Используемая АНБ технология сжатия MapReduce исполняет за минуты запросы, что требуют часы в базах данных SQL или Oracle (и это без вовлечения более мощных возможностей оперативки).
Можно подытожить, что современные технологические возможности позволяют сбор и хранение огромных потоков мирового интернета. Перейдем к особенностям их обработки и анализа.
Всякая серьезная интернет-структура записывает и сохраняет для дальнейшего использования все, что делает пользователь на ее веб-ресурсах. Из историй посещений формируются обновляемые таблицы о просмотрах страниц, кликах, использованных каналах рекламы и пользовательских сессиях.
Сильно упрощенная схема мониторинга недовольства в реальном времени требует всего три первоначальных поля из таких логов – время инцидента, оставленная запись в форуме/соцсети и ваш «отпечаток пальцев» — уникальный номер, присвоенный вашему компьютеру (адрес интернет протокола или IP Address, далее – IP). Особенность IP в том, что его почти всегда можно точно геопозиционировать – определить страну, республику, область, город, район данного пользователя (для данного проекта более мелкими деталями можно пренебречь) .
Итак, к нашим трем первоначальным полям добавляются поля геоиерархии страна-район. Таблица готова для дальнейшего использования. Назовем ее призма_революция.
Обращаемся к оставленному пользователем сообщению «Долой власть», сохраненному в виде поля нашей таблицы (кстати, так отсекается процентов 95 наших логов, так как не каждая запись о пользовательском поведении содержит оставленное сообщение). Здесь без помощи яйцеголовых лингвистов и деятелей смежных профессий страны-жертвы нашей программы не обойтись. Их задачей является классификация слов аборигенского языка в группы и подгруппы, выражающие различные эмоциональные состояния того, кто их употребляет. Этот, самый сложный шаг критически важен для успешности всего предприятия.
Группа слов и словосочетаний [Группа_Ярость], важная для построения тепловых карт народного недовольства, пусть составит 100 слов, одним из которых будет «долой». Наша таблица призма_революция получает еще одно поле [Ярость] со значением 1 (если сообщение пользователя содержит слово/слова из группы [Группа_Ярость]) или 0 (в случае, если таких слов не содержится).
Нужный нам вид таблицы:
Дата Страна Область Город Район (или индекс) Ярость
1.1.2013 РФ Саратовская Пугачев 123456 0
…
2.1.2013 РФ Саратовская Пугачев 123457 1
У нас получается обновляемая таблица, содержащая миллионы строк и готовая к выполнению запросов визуализации и аналитики. Быстродействие запросов поддерживается не только огромными объемами оперативной памяти, но и параллельной работой сотен/тысяч серверов, отвечающих на запросы, относящиeся к разным странам/областям/районам. При желании результаты запросов разных серверов потом можно объединить в единую таблицу для использования при визуализации.
Таблица революция_ярость будет сгруппирована по иерархии страна-индекс и просуммирована по полю [Ярость]. По каждой группе агрегируем число уникальных IP (уникальные пользователи) для калькуляции нашего интегрального показателя – среднего количества употребления слов группы [Группа_Ярость] для уникального пользователя. Именно этому показателю плотности недовольства и суждено стать той конечной метрикой, на которой будет базироваться вся система мониторинга революционных настроений.
Конечно, описанная система значительно упрощена, ведь необходимо не забывать о степени проникновения интернета в данном районе. Однако инструменты геолокации позволяют эффективно отсекать комментарии, присланные извне – беспокоящийся о судьбе российской провинции житель Хайфы будет проигнорирован.
Осталось наложить геопозиции из таблиц на средства визуализации (яндекс карты, как грубый пример). В зависимости от величины интегрального показателя раскрасим наши масштабируемые карты палитрой оттенков от зеленого (все спокойно) до красного (недалеко до взрыва). Кстати, картами можно пренебречь и автоматизировать регулярную рассылку из Лэнгли макфолам с обновлением списка «горячих точек» на вверенной территории.
Вооруженный такими динамическими в пространстве и времени пульсирующими картами, (изменяющимися почти в реальном времени), наш беспристрастный наблюдатель будет похож на астронома, долгими вечерами изучающего через мощный телескоп готовую взорваться сверхновую, с той лишь разницей, что такая система сама укажет области наблюдения – наливающиеся красным островки тревоги. А еще у нашего астронома есть все возможности влиять на и приближать момент взрыва.
С обнаружением такой точки недовольства включается детальный анализ – влоть до установления контактов с наиболее активными и непримиримыми онлайн-бузотерами на данной территории. Запускается финансирование, обеспечивается информационная поддержка. Преданная демшиза заранее посылается в Пугачев.
Обратное верно для борьбы со своими диссидентами – зачищаются носители негативного потенциала, в зародыше гасятся искры недовольства. Ведь такой могучий инструмент можно употребить и для противоположных целей – выявляя у себя дома центры нарождающихся волнений и заблаговременно их купируя.
Согласившись (за неимением выбора) быть пронизанными насквозь чужой информационной системой, надо смириться с тем, что противник с течением времени будет узнавать о нас все больше и больше. Наступит время, когда чужие изучат нас лучше, чем свои правители. К этому надо быть готовыми. Ведь подобные инструменты анализа и тепловые карты (с возможностью изучать динамику) можно подготовить и по другим линиям водораздела: счастливые-несчастливые, образованные-невежды, пьяные-трезвые, агрессивные-спокойные и т.д.
Выход один — настойчиво выбираться из создавшегося незавидного положения, выстраивая свою кибернезависимость и освобождаясь от чужеземного ига.
Оценили 13 человек
16 кармы