Интернет из-под воды

Была у нас уже на обсуждении интереснейшая тема, про то, как интернет приходит к нам из под воды, а так же где лежат под водой эти интернет-кабеля.

Я думаю вам будет интересно узнать еще немного подробностей и нюансов этого способа доставки интернета до нас с вами.

Подробности рассказывает Карл Осборн, вице-президент Tata по международному сетевому развитию.

Чем ближе вы к поверхности, тем больше нужно защитной оболочки, чтобы выдержать потенциальные повреждения от судоходства. На мелководье выкапываются траншеи, куда кладут кабели. Впрочем, на большей глубине, как в Западно-Европейской котловине глубиной почти в пять с половиной километров, защита не требуется — коммерческое судоходство никак не угрожает кабелям на дне.

На этой глубине диаметр кабеля — всего 17 мм, он словно фломастер в толстой изолирующей полиэтиленовой оболочке. Медный проводник окружает множество стальных проволочек, защищающих оптоволоконную сердцевину, находящуюся в стальной трубке диаметром менее трех миллиметров в мягком тиксотропном желе. Защищенные кабели внутри устроены так же, но вдобавок одеты в еще один или несколько слоев гальванизированной стальной проводки, обернутой вокруг всего кабеля.

Без медного проводника не было бы никакого подводного кабеля. Оптоволоконная технология обладает высокой скоростью и может пропускать чуть ли не безграничное количество данных, но оптоволокно не может работать на длинных дистанциях без небольшой помощи. Для усиления светопередачи по всей длине оптоволоконного кабеля нужны устройства-повторители — по сути, усилители сигнала. На суше это легко осуществляется за счет местной электроэнергии, но на дне океана усилители получают постоянный ток от медного проводника кабеля. А откуда берется этот ток? Со станций на обоих концах кабеля.

Хотя потребители этого не знают, TGN-A — это, на самом деле, два кабеля, идущие через океан разными путями. Если один будет поврежден, другой обеспечит непрерывность связи. Альтернативный TGN-A выходит на сушу на расстоянии в 110 километров (и три наземных усилителя) от основного и получает свою энергию оттуда же. У одного из этих трансатлантических кабелей 148 усилителей, а у другого, более длинного — 149.

Руководители станции стараются избегать известности, так что я назову нашего гида по станции Джоном. Джон объясняет устройство системы:
«Для питания кабеля с нашего конца идет положительное напряжение, а в Нью-Джерси оно отрицательное. Мы стараемся поддерживать ток: напряжение легко может наткнуться на сопротивление на кабеле. Напряжение примерно в 9 тысяч вольт поделено между двумя концами. Это называется двуполярным питанием. Так что с каждого конца примерно 4 500 вольт. В нормальных условиях мы могли бы обеспечивать работу всего кабеля без всякой помощи со стороны США»

Стоит ли говорить, что усилители сделаны с расчетом на бесперебойную работу в течение 25 лет, поскольку никто не будет посылать на дно водолазов, чтобы поменять контакт. Но глядя на сам образец кабеля, внутри которого всего восемь оптических волокон, невозможно не подумать, что при всех этих усилиях тут должно быть что-то большее.

«Все ограничивается размерами усилителей. На восемь волоконных пар нужны усилители вдвое большего размера», — поясняет Джон. А чем больше усилители, тем больше нужно энергии.
На станции восемь проводов, составляющих TGN-A, образуют четыре пары, каждая из которых содержит волокно приема и волокно передачи. Каждый проводок окрашен в свой цвет, чтобы в случае поломки и необходимости ремонта в море техники могли понять, как собрать все в изначальное состояние. Аналогично, работники на суше могут понять, что куда вставлять при подключении к подводному линейному терминалу (SLTE).

Ремонт кабелей в море

А вот что сообщает по поводу ремонта кабелей Питер Джеймисон, специалист техподдержки оптоволоконных сетей в Virgin Media.

«Как только кабель нашли и доставили на корабль для починки, устанавливается новый отрезок неповрежденного кабеля. Затем устройство с дистанционным управлением возвращается на дно, находит другой конец кабеля и совершает соединение. Затем кабель закапывается в дно максимум на полтора метра с помощью водяной струи высокого давления», — рассказывает он
«Обычно ремонт занимает где-то десять дней с момента отправления ремонтного судна, из которых четыре-пять дней — работы непосредственно на месте поломки. К счастью, такие случаи редки: за последние семь лет Virgin Media сталкивалась лишь с двумя».

QAM, DWDM, QPSK…

Когда кабели и усилители установлены — скорее всего, на десятилетия — больше в океане ничего отрегулировать нельзя. Ширина полосы, задержка и все, что касается качества услуг, регулируется на станциях.

«Чтобы понять отправляемый сигнал, используется прямая коррекция ошибок, и техники модуляции менялись по мере того, как количество трафика, передаваемого сигналом, увеличилось», — говорит Осборн. «QPSK (квадратурная фазовая манипуляция) и BPSK (двоичная фазовая манипуляция), иногда называемая PRK (двукратная относительная фазовая манипуляция), или 2PSK- это техники модуляции на больших дистанциях. 16QAM (квадратурная амплитудная модуляция) использовалась бы в более коротких подводных кабельных системах, а сейчас разрабатывается технология 8QAM, промежуточная между 16QAM и BPSK.

Технология DWDM (плотное мультиплексирование с разделением по длине волны) используется для совмещения различных каналов данных и для передачи этих сигналов на разных частотах — через свет в определенном цветовом спектре — по оптоволоконному кабелю. По факту, она образует множество виртуальных оптоволоконных каналов. Благодаря этому пропускная способность волокна резко повышается.
На сегодняшний день каждая из четырех пар обладает пропускной способностью в 10 Тбит/с и может достигать 40 Тбит/с в TGN-A кабеле. В то время цифра в 8 Тбит/с была максимальным существующим потенциалом на этом кабеле сети Tata. По мере того, как новые пользователи начинают пользоваться системой, они используют резервные мощности, однако мы от этого не обеднеем: в системе по-прежнему остается 80% потенциала, и в последующие годы с помощью очередной новой кодировки или усиления мультиплексирования почти наверняка можно будет повысить пропускную способность.

Одна из основных проблем, оказывающих воздействие на применение фотонных коммуникационных линий — дисперсия в оптоволокне. Так называется то, что разработчики включают в расчет при создании кабеля, поскольку некоторые секции оптоволкна обладают положительной дисперсией, а некоторые — отрицательной. И если вам понадобится произвести ремонт, нужно быть уверенным в том, что под рукой кабель с подходящим типом дисперсии. На суше электронная компенсация дисперсии — задача, которая постоянно оптимизируется, чтобы допускать возможность передачи самых слабых сигналов.

«Раньше мы использовали катушки оптоволокна, чтобы вызвать компенсацию дисперсии, — говорит Джон, — но теперь это все делается с помощью электроники. Так намного точнее удается повышать пропускную способность». Так что теперь, вместо того, чтобы изначально предлагать пользователям 1-, 10- или 40-гигабитное оптоволокно, благодаря усовершенствованным за последние годы технологиям, можно готовить «сбросы» в 100 гигабит.

Говоря об устройстве места закладки кабелей, Осборн рассказывает:
«У тех кабелей, которые тянутся с пляжа, есть три основные части: оптоволокно, по которому идет трафик, силовая линия и заземление. Оптоволокно, по которому идет трафик — то, что вытянуто над вон той коробкой. Силовая линия ответвляется на другом отрезке в пределах территории этого объекта»

Желтый желоб для оптоволокна, расположенный над головой, ползет к распределительным панелям, которые будут выполнять разнообразные задачи, включая демультиплексирование входящих сигналов, благодаря чему можно будет разделить разные частотные диапазоны. Они представляют собой место потенциальных «потерь», где отдельные каналы могут обрываться, не попадая в наземную сеть.
Джон рассказывает:«Поступают каналы на 100 Гбит, и у вас есть 10-гигабитные клиенты: 10 на 10. Мы также предлагаем клиентам чистые 100 Гбит».

«Все зависит от пожеланий клиента», — добавляет Осборн. «Если им нужен одиночный канал на 100 Гбит, который поступает от одного из щитков, он может быть напрямую предоставлен потребителю. Если клиенту нужно что-то помедленнее, тогда да, придется поставлять трафик на другое оборудование, где его можно будет разделить на части с более низкой скоростью. У нас есть клиенты, которые покупают выделенную линию со скоростью 100 Гбит, но их не так уж много. Какой-нибудь мелкий провайдер, который захочет купить у нас возможность передачи, скорее выберет линию на 10 Гбит».

Подводные кабели предоставляют множество гигабит пропускной способности, что может быть использовано для выделенных линий между двумя офисами компании, чтобы, например, можно было проводить голосовые вызовы. Вся пропускная способность может быть расширена до сервисного уровня интернет-магистрали. И каждая из этих платформ оснащена различным отдельно контролируемым оборудованием.
«Основная часть пропускной способности, получаемой благодаря кабелю, либо используется для обеспечения работы нашего собственного интернета, либо продается как линии передач другим оптовым интернет-компаниям, вроде BT, Verizon и других международных операторов, у которых нет собственных кабелей на морском дне и поэтому они покупают доступ к передаче информации у нас».

Высокие распределительные щиты обеспечивают функционирование мешанины оптических кабелей, которые делятся 10-гигабитной связью с клиентами. Если вы желаете повысить пропускную способность, то это практически так же просто, как заказать дополнительные модули и распихать их по полкам — так в индустрии говорят, когда хотят описать, как устроены крупные стоечные массивы.

Джон указывает на существующую и используемую клиентом систему 560 Гбит/с (созданную на основе технологии 40G), которую недавно обновили дополнительными 1,6 Тбит/с. Дополнительная мощность была достигнута с помощью двух дополнительных модулей по 800 Гбит/с, которые работают на основе технологии 100G с трафиком более, чем в 2,1 Тбит/с. Когда он говорит о поставленной задаче, создается впечатление, что самая длительная фаза процесса — ожидание появления новых модулей.

У всех инфраструктурных объектов сети Tata есть копии, поэтому существует два помещения SLT1 и SLT2. Одна атлантическая система, получившая внутреннее название S1, находится слева от SLT1, а кабель Восточная Европа — Португалия называют C1, и располагается он справа. На другой стороне здания — SLT2 и Атлантическая S2, которые вместе с C2 соединены с Испанией.

В отдельном отсеке неподалеку располагается наземное помещение, в котором, помимо прочего, занимаются контролем над поступлением трафика в лондонский центр обработки данных Tata. Одна из трансатлантических пар оптоволокна на самом деле осуществляет сброс данных не в месте закладки. Это «лишняя пара», которая продолжает свой путь прямо до офиса Tata в Лондоне из Нью-Джерси, чтобы свести к минимуму задержку сигнала. Кстати, о ней: Джон проверил данные о задержке сигнала, идущего по двум атлантическим кабелям; самый короткий путь достигает скорости задержки пакета данных (PGD) в 66,5 мс, в то время как самый длинный — 66,9 мс. Так что ваша информация переносится на скорости около 703 759 397,7 км/ч. Ну как, достаточно быстро?

Он описывает основные проблемы, возникающие в связи с этим: «Каждый раз, когда мы переходим с оптического на слаботочный кабель, а затем опять на оптический, время задержки увеличивается. Сейчас, с помощью высококачественной оптики и более мощных усилителей необходимость воспроизводить сигнал сводится к минимуму. Другие факторы включают в себя ограничение на уровень мощности, которая может быть отправлена по подводным кабелям. Пересекая Атлантику, сигнал остается оптическим на протяжении всего пути».

Энергия кошмаров

Вы не можете посетить место закладки кабеля или центр обработки информации и не заметить, насколько там необходима энергия: не только для оборудования в телекоммуникационных стойкахк, но и для охладителей — систем, которые предотвращают перегревание серверов и коммутаторов. И поскольку место закладки подводного кабеля обладает необычными энергетическими требованиями из-за своих подводных ретрансляторов, резервные системы у него тоже не самые обычные.

Если мы зайдем в одну из аккумуляторных, вместо стеллажей с запасными аккумуляторами ИБП (источник бесперебойного питания — прим. Newочём) Yuasa — формфактор которых не особенно отличается от тех, что можно увидеть в машине — мы увидим, что комната больше напоминает медицинский эксперимент. Она уставлена огромными свинцово-кислотными аккумуляторами в прозрачных резервуарах, выглядящими как мозги инопланетян в банках. Не требующий технического обслуживания, этот набор аккумуляторов на 2 В с продолжительностью жизни в 50 лет в сумме дает 1600 А*ч, обеспечивая 4 часа гарантированной автономной работы.

Зарядные устройства, которые, по сути, являются выпрямителями тока, обеспечивают напряжение холостого хода для поддержания заряда аккумуляторов (герметичные свинцовокислотные аккумуляторы должны иногда подзаряжаться на холостом ходу, иначе со временем они теряют полезные свойства из-за т.н. процесса сульфатации — прим. Newочём). Они также проводят напряжение постоянного тока для стеллажей к зданию. Внутри комнаты находятся два источника электроснабжения, размещенные в больших синих шкафах. Один питает кабель Atlantic S1, другой — Portugal C1. Цифровой дисплей показывает 4100 В при силе тока приблизительно в 600 мА для атлантического источника электроснабжения, второй показывает чуть больше 1500 В при 650 мА для источника электроснабжения C1.
Джон описывает конфигурацию:

«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель».
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».

На объекте также есть два 2 МВА (мегавольтамперных — прим. Newочём) дизельных генератора. Конечно, поскольку все продублировано, второй — запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).

В обычный месяц на объекте счет за электричество легко достигает 5 цифр.

Как работает провайдер инфраструктуры

Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.

«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид — ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку». Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании — прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.

И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес — около 96 тонн. Срок службы батарей — 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы.

В центре установлено 6 генераторов — по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра — 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА — такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива — достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км — цифры, из-за которых Humvee выглядит как Prius.

источники
https://geektimes.ru/post/2876...
Над переводом работала команда Newочем: Влада Ольшанская, Никита Пинчук, Александр Поздеев, Георгий Лешкашели, Оля Кузнецова и Кирилл Козловский. Редактировали: Анна Небольсина, Роман Вшивцев и Артём Слободчиков.