Подробная информация об аварийном отключении сервисов Сети Ланет утром 22 июня 2020
Тайминг действий, которые были направлены на восстановление работы всей сети Интернет
Вчера, 22 июня 2020, в 9:53 на участке сети центрального ядра Сети Ланет вышла из строя линейная сетевая карта на 32-а 10-гигабитных порта, что привело к аварийной ситуации, в результате которой часть абонентов наблюдала трудности в доступе к Интернету, а сотрудники – в пользовании внутренними сервисами компании. В результате аварии в 9:58 у некоторых пользователей Сети Ланет начались проблемы с интернет-доступом. В 10:10 проблема распространилась и продолжалась до 11:02.
Восстановив работу сервисов и проанализировав ситуацию, мы отследили всю последовательность событий во время этого инцидента.
Что происходило во время аварии?9:53 — вышла из строя линейная сетевая карта на 32-а 10-гигабитных порта;
9:54 — вследствие деградации трафика начались сбои в работе внутренних сервисов, в то же время специалисты зафиксировали аварийную ситуацию. Поскольку ключевая услуга по предоставлению доступа в Интернет пользователям продолжала работать, на начальном этапе реагирования специалисты сосредоточились на решении проблемы без глобальных вмешательств в работу всей системы;
10:10 — усиление последствий привело к сбоям в доступе к Интернету у пользователей, а ситуация приобрела массовый характер;
10:12 — инженеры приступили к перенастройке оборудования и частичному переносу сервисов в работающие модули сетевого ядра для возобновления предоставления основной услуги Интернет. Благодаря заложенному резерву, это удалось провести оперативно на доступной конфигурации;
10:35 — началось восстановление ключевых внутренних сервисов, отвечающих за предоставление доступа к сети Интернет абонентам;
11:02 — восстановлен доступ в Интернет для абонентов;
11:10 — начата перенастройка ядра сети и установка резервного модуля с целью переключения и восстановления остальных сервисов, в том числе телефонии;
11:57 — установлены дополнительные элементы оборудования и возобновлена работа всех внутренних сервисов.
Обращаем ваше внимание, что кабельное телевидение продолжало работать без сбоев, а работу по преодолению последствий ситуации мы вели в первую очередь для основной услуги: доступ к сети Интернет для части наших абонентов. Возвращение в рабочее состояние внутренних сервисов Сети Ланет происходило во время второго этапа. В результате телефонная связь с горячей линией появилась после восстановления интернет-доступа.
Анализируя ход событий и наши шаги для преодоления последствий аварии, мы ищем варианты модификации инфраструктуры и рассматриваем возможности для перераспределения сетевой нагрузки для предупреждения таких ситуаций в будущем.
Вчера мы получили много сообщений от наших пользователей в соцсетях, благодаря чему смогли быстро отреагировать на аварию и выявить ее масштабы. Приносим извинения за неудобства, которые пришлось почувствовать части наших абонентов в связи со вчерашней ситуацией. А также благодарим каждого за понимание, поддержку и за обратную связь, которая помогает нам понять значение всех осуществленных нами шагов.