После прочтения Отличная статья Арстечницы Что касается интернет-инфраструктуры и того, что происходит за кулисами, чтобы принести интернет к вам домой, у меня есть новое уважение ко всем интернет-провайдерам, которых я использовал в прошлом, и к бизнесу провайдеров, которым я управляю сейчас. Большинство вещей, упомянутых в статье Ars, не новы для меня, но в хорошей статье из 7000 слов с информативными картинками полезно напомнить, что нужно для того, чтобы Интернет появился у вас дома, и как мало у вас контроля, как поставщик услуг, чтобы поддерживать высокое качество обслуживания.
Арс пообещал последующую статью об инфраструктуре последней мили, от NOC до вашего дома, но позвольте мне рассказать вам из личного опыта; последняя миля самая трудная и, пожалуй, самая дорогая в обслуживании. Существует безумное количество планирования, и внимание к деталям идет в фоновом режиме, чтобы принести интернет к вашему дому, чтобы вы могли смотреть картинки кошек.
Мы начали нашего провайдера как шутку или что-то вроде «у меня есть пара месяцев, чтобы убить, ничего не делая лучше» . У меня был нулевой опыт работы с провайдером. У меня был некоторый опыт работы в других компаниях, но его нелегко перенести на работу интернет-провайдера. У моего делового партнера был некоторый опыт работы в индустрии интернет-провайдеров с очень ограниченными возможностями, и он не очень хорошо разбирается в деньгах или в бизнесе вообще. Идеальная пара и идеальный шторм, ожидающий случившегося. Мы подали заявку на общенациональную лицензию интернет-провайдера, их не так много (интересно, почему), и их применение не очень дорого, так почему бы и нет? Удивительно, но мы получили нашу лицензию без особых хлопот.
Позвольте мне остановиться на некоторых требованиях и расходах, связанных с работой надлежащего интернет-провайдера, не вдаваясь в подробности, такие как наше местоположение и конкретные сетевые устройства, которые мы использовали. Пожалуйста, имейте в виду, что мы всего лишь двухлетний провайдер среднего размера в развивающемся мире, большинство из того, что мы делаем, будет применяться к большей части мира, но некоторые из них могут и не быть.
Наш NOC (Центр сетевых операций, где происходит вся магия) нужно было разместить в зоне, которая легко доступна 24/7 без каких-либо ограничений. Такие места сложно и дорого найти, когда ваш бизнес вращается вокруг обслуживания домашних пользователей (в основном) в жилых районах. Мы нашли хорошее место в деловом районе с 10-летней арендой с условиями для пересмотра после 5 лет.
Нам пришлось подключаться к нескольким восходящим потокам с двумя резервными физическими соединениями (первичным и резервным), и каждое из этих соединений должно быть с разных маршрутов. Итак, у нас есть четыре восходящих провайдера полосы пропускания, для каждого физического соединения мы должны тщательно планировать оптоволоконные маршруты, чтобы они не перекрывались. И если есть какая-либо проблема с одним из сердечников, соединяющих нас с нашим верхним течением, скажем, какой-то рассеянный дорожно-строительный рабочий случайно разрезал наши подземные волоконные сердечники. Мы будем рады узнать, что это не повлияет на другие наши ядра. Вероятно, нам не нужны четыре восходящих потока, но из нашего опыта мы узнали, что для абсолютного минимизации времени простоя (что встречается редко) и проблем с перегрузкой полосы пропускания лучше всего использовать множественные восходящие потоки (с минимальным перекрывающимся пирингом внутри себя). Нам также нужно было провести исследования и провести переговоры с нашими поставщиками BW, чтобы мы получили доступ к большинству их сетевых партнеров. Это стоит нам больше денег, но дает нашим пользователям лучшую скорость и низкую задержку для таких вещей, как игровые серверы.
Типичные узлы DELL R720 10G GGC, мы получаем четыре из них.
Нам также нужно было иметь в своем распоряжении Google и Akamai CDN , У Google есть программа, где вы можете подать заявку на их GGC (Google Global Cache) оборудование для вашего помещения. Они могут свободно применяться, и вы получаете 3 хороших узла Dell GGC с общей скоростью 19 Гбит / с для начала. Но есть минимальные требования, прежде чем вы можете подать заявку на них. Ваш ASN должен иметь как минимум 2 Гбит / с запросов пропускной способности к службам Google, прежде чем вы получите право на их оборудование. Но когда вы начинаете, у вас нет выбора, кроме как купить дорогой BW для потребностей YouTube. Учитывая, что трафик Youtube составляет около 2/5 от нашего общего трафика, и для достижения минимальных требований может потребоваться более 6 месяцев, плюс еще 3 месяца для доставки узлов в наше помещение, их конфигурирование и начало использования своих узлов GGC может возьми еще месяц или около того. Все это время мы сжигали реальные деньги. Мы должны продавать BW клиентам, будучи конкурентоспособными с существующей рыночной ценой, которая включает в себя преимущество наличия локального узла GCC, чего у нас явно не было. После того, как наши узлы GGC заработали с максимальной эффективностью, через несколько недель мы стали почти такими же конкурентоспособными, как и наши конкуренты. В настоящее время мы ведем переговоры о подаче заявки на узлы Akamai, но у Akamai более высокий барьер для входа, и хотя это не сэкономит нам много денег, оно предоставит лучший сервис для наших клиентов, что в равной степени важно для нас. , Мы также рассматриваем возможность подачи заявления на Узлы Netflix , но так как они только начали в нашей стране, я не знаю, насколько они будут любезны.
Мы арендуем подземные ядра у сторонних производителей, ядра стоят дорого, и нам часто приходится торговаться взад и вперед, чтобы попытаться снизить стоимость ядер, которые используются в качестве резервной копии и которые мы, вероятно, будем использовать не чаще одного раза в год, для Пару часов.
Нам также потребовалось несколько уровней избыточности с питанием. У нас есть две энергетические компании в нашем регионе, но только одна из них напрямую связана с нашим офисом. Другой имеет присутствие в 3-4 кварталах от нас. Хотя у связи со второй энергетической компанией были некоторые юридические проблемы, мы перепрыгнули через несколько обручей, чтобы соединиться с ними. Если вы думали, что волокно OH (Over Head) последней мили было дорогим в установке и обслуживании, попробуйте сделать это для линий электропередач. Таким образом, в случае сбоя питания в нашей зоне у нас все еще должно быть доступное питание от нашего резервного подключения. Поддерживать такое резервное подключение дорого, даже если вы используете их один раз в год. В качестве бизнеса вы должны платить минимальную сумму, чтобы поддерживать связь с ними, независимо от того, используете вы их или нет. У нас также есть несколько онлайн-ИБП (с пропускной способностью 50%), которые могут обеспечить нам около 20 часов работы в случае полного отключения питания от магистральных линий. У нас также есть два дизель-генератора, каждый из которых расположен на противоположной стороне здания, с достаточным запасом дизельного топлива на 2 дня бесперебойного питания.
Серверная комната изолирована от остальной части офиса в нашем NOC (естественно), помещение должно тщательно контролироваться климатом (несколько 24-часовых блоков кондиционирования воздуха), а доступ контролироваться с помощью биометрических считывателей и контролироваться с помощью HD-камер. Я не буду вдаваться в конкретные названия брендов или типы продуктов, которые мы используем для наших периферийных маршрутизаторов и распределительных коммутаторов, но они являются обычными преступниками, которых использует большинство людей. В любом случае, у вас не так много качественных опций. В основном Cisco, Juniper, Mikrotik (домашний пользователь BW control) и некоторые Linux-боксы. Эти коммутаторы и маршрутизаторы смехотворно дороги, и вам действительно необходимо иметь резервную резервную копию для своих пограничных и распределительных маршрутизаторов / коммутаторов. Не говоря уже о том, что вам нужна промежуточная лаборатория перед развертыванием новых конфигураций в действующей сети. Поскольку наша сеть работает на 10g, модули LR (long Range) sfp +, которые хорошо работают с устройствами Cisco и Juniper, могут быть очень и очень дорогими, особенно в этой части мира, где она недоступна, поэтому нам нужно иметь в наличии много запасных частей. все время.
В идеале вы должны иметь в своем распоряжении встроенный NOC, чтобы иметь возможность переключиться на резервный NOC в случае масштабной аварии на ваш основной NOC. Это у нас в голове постоянно. Количество планирования и затрат, связанных с его настройкой, просто смешно. Надеемся, мы сделаем это в ближайшее время, возможно, к концу этого года.
Небольшой сетевой дистрибутив от одного из наших POP, у нас есть 30 POP.
У нас также есть более 30 POP по всей стране с перекрестными кольцевыми сетями для обеспечения множественного резервирования. Каждый из этих POP имеет одинаковое резервирование питания с круглосуточной поддержкой персонала. Наша поддержка должна быть очень твердой. Поскольку все интернет-провайдеры продают то же самое, что удовлетворяет 90% потребностей пользователей, единственным нашим отличительным фактором является качество поддержки клиентов. Таким образом, у нас есть небольшая армия хорошо оплачиваемой и хорошо обученной поддержки, ожидающая в режиме ожидания 24/7. Само собой разумеется, что все это стоит приличной суммы денег.
У нас есть три вида поддержки: по телефону, в помещении клиента (в течение 12 часов с момента звонка, в зависимости от доступности клиента) и службы поддержки Fiber последней мили. У нас есть 100 км + оптоволоконные кабели, а также почти вдвое больше того расстояния подземного волокна, которое мы арендовали у стороннего поставщика. Эта большая сеть волокон нуждается в постоянном обслуживании почти ежедневно. Наши службы поддержки Fibre оснащены несколькими дорогими машины для сращивания волокон а также рефлектометры , чтобы помочь им решить проблемы как можно скорее. Эта команда также отвечает за подключение последней мили от наших СОЗ до домашних пользователей. Поскольку мы являемся поставщиком услуг FTTH (Fiber to the Home) , нам необходимо установить довольно дорогой Media Convertor в каждом помещении клиента, чтобы предоставлять услуги.
Типичный рефлектометр
Что касается продаж и маркетинга, наша команда имеет дело с безжалостной конкуренцией и насыщенным рынком. Мы довольно плохо знакомы с бизнесом интернет-провайдеров (всего 2 года), большинство существующих интернет-провайдеров существует уже несколько десятилетий. Мало того, что у них есть прочная сеть по всей стране, у них есть имя бренда, с которым большинство людей может иметь отношение. Крайне сложно отвлечь клиента от существующего интернет-соединения. Иногда мы должны предлагать интернет как минимум на месяц бесплатно, чтобы у клиентов было время оценить и сравнить услуги. Когда вы начинаете, ваша реклама может быть безумной. Хорошая особенность пребывания в развивающемся мире заключается в том, что, несмотря на то, что рынок насыщен в том виде, в каком он сейчас существует, он не достиг своего апогея, потому что рынок еще есть для роста. В нашем случае это в основном из больших городов и в сельской местности, где крупные интернет-провайдеры не вкладывали много средств.
Вы можете делать все по книге и следить за тем, чтобы не жалеть никаких затрат, чтобы можно было выжать лишние проблемы с задержкой, и все может пойти ужасно неправильно. Например, как развивающаяся страна, наше правительство и его соответствующие органы всегда работают над настройкой правил, чтобы наилучшим образом принести пользу пользователям. Но большинство этих решений не принимает во внимание, как это влияет на бизнес провайдеров. Долгосрочные компании могут взять на себя часть стоимости изменений в регулировании, но интернет-провайдеры, которые только начинают или надеются начать бизнес, могут легко обескуражиться. Таким образом, в долгосрочной перспективе у вас будет меньше конкуренции в и без того сложном секторе.
Мы также должны учитывать проблемы, с которыми сталкиваются наши вышестоящие лица, иногда их магистральные сети могут падать и вызывать огромные перегрузки сети, и это может занять несколько недель, чтобы это исправить, и это даже не в их руках - поскольку им приходится полагаться на своего магистрального поставщика. Когда клиент звонит по поводу медленной скорости интернета, мы не можем сообщить ему о проблемах магистральной сети в восходящем направлении или о предполагаемом времени, когда это будет исправлено. Потому что им все равно, и они хотят немедленного решения. В таких ситуациях мы заверяем их, что проблема будет решена в ближайшее время. Если мы думаем, что потребуется нормальное обслуживание от одного из наших вышестоящих устройств, потребуется много времени, мы либо перенесем клиента в другой стабильный вышестоящий поток (поэтому у нас их четыре). Или мы берем немного дополнительного краткосрочного BW и перемещаем 50% наших клиентов, пока все не нормализуется. Я знаю, что мы должны получить компенсацию за эту потерю нашим вышестоящим, так как у нас есть SLA, но все не так просто, как кажется. Многие из этих SLA не могут быть легко выполнены с 100% компенсацией.
Как упоминалось ранее, подземные ядра могут упасть. Воздушные стержни могут быть порезаны или повреждены из-за погоды. Мы можем быть поражены очень большой и сложной DDOS-атакой, и наше существующее решение может не справиться с этим. Иногда наш апстрим просто отключает наш интерфейс, пока они / мы не выясним, как обращаться с DDOS. Оборудование для снижения DDOS очень и очень дорого.
Итак, в заключение я бы настоятельно рекомендовал не начинать свой собственный провайдер. Даже если у вас есть много денег, чтобы бросить вокруг. Средний показатель по отрасли составляет 4-5 лет, прежде чем вы начнете получать отдачу от своих инвестиций и начнете получать прибыль. Удивительно, но мы находимся в два года, и мы уже в прибыли, но не намного, но это начало. Но будьте уверены, мы крайний случай. Возможно, потому что мы являемся аутсайдерами отрасли, и мы сделали некоторые вещи, которые обычно большинство интернет-провайдеров не сделали бы. Но это тема для другого дня, и я надеюсь написать об этом в ближайшее время.
Следите за прибыльностью ,
Copyleft © 2017 . www.flashphone.ru