Экскурсия по дата-центру ВКонтакте


Сердце ВКонтакте — дом Зингера на Невском проспекте

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. В этой статье почитаем и посмотрим, где находится и как выглядит его мозг — дата-центр ИЦВА.

дата-центр ИЦВА ВКонтакте

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

  • Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
  • Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
  • Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:

Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит дата-центр ВКонтакте.

Добро пожаловать в дата-центр ВКонтакте

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство ВКонтакте достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр ВКонтакте генерирует более 1 Тбит/c внешнего трафика. К DWDM-системам дата-центра ВКонтакте подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео ВКонтакте

Электроснабжение дата-центра ВКонтакте

Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания дата-центра ВКонтакте находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Схема электропитания дата-центра ВКонтакте в штатном режиме

Схема электропитания дата-центра ВКонтакте в штатном режиме

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Схема электропитания дата-центра ВКонтакте при аварии на вводе

Схема электропитания дата-центра ВКонтакте при аварии на вводе

Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Источники бесперебойного питания дата-центра ВКонтакте

Источники бесперебойного питания дата-центра ВКонтакте

А это аккумуляторы дата-центра ВКонтакте для них — внешне очень похожи на автомобильные…

А это аккумуляторы дата-центра ВКонтакте для них — внешне очень похожи на автомобильные…

...только занимают несколько больших помещений

Дизель-генераторные установки (ДГУ)

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре ВКонтакте в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Дизель-генераторные установки дата-центра ВКонтакте

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения.

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

Статический переключатель нагрузки дата-центра ВКонтакте + ручной байпас Digital Energy

Статический переключатель нагрузки дата-центра ВКонтакте + ручной байпас Digital Energy

Система охлаждения дата-центра ВКонтакте

Для комфортной жизни оборудования в машинных залах дата-центра ВКонтакте нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

В дата-центра ВКонтакте фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале дата-центра ВКонтакте из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Внутренние блоки прецизионных кондиционеров дата-центра ВКонтакте

Внутренние блоки прецизионных кондиционеров дата-центра ВКонтакте

Внешние блоки прецизионных кондиционеров дата-центра ВКонтакте

Внешние блоки прецизионных кондиционеров дата-центра ВКонтакте

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

Холодный коридор машинного зала дата-центра ВКонтакте

Холодный коридор машинного зала дата-центра ВКонтакте

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Горячий коридор машинного зала дата-центра ВКонтакте

Горячий коридор машинного зала дата-центра ВКонтакте

Структурированная кабельная система дата-центра ВКонтакте

Километры бережно уложенных проводов в дата-центре ВКонтакте. Здесь не нужны слова.

Километры бережно уложенных проводов в дата-центре ВКонтакте

 

Структурированная кабельная система дата-центра ВКонтакте

 

Кабельная сеть дата центра ВКонтакте

 

Кабельная сеть дата центра

 

Укладка кабельной сети в дата центре ВКонтакте

 

Правильная укладка кабельной сети в дата центре ВКонтакте

Система пожаротушения дата-центра ВКонтакте

В ЦОДе ВКонтакте предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале дата-центра ВКонтакте клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Баллоны с хладоном дата-центра ВКонтакте

Система пожаротушения дата-центра ВКонтакте

Манометр баллона с хладоном дата-центра ВКонтакте

Манометр баллона с хладоном дата-центра ВКонтакте

Мониторинг дата-центра ВКонтакте

Все показатели здоровья дата-центра ВКонтакте отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Мониторинг электроснабжения дата-центра ВКонтакте

Мониторинг электроснабжения дата-центра ВКонтакте

Мониторинг системы охлаждения дата-центра ВКонтакте

Мониторинг системы охлаждения дата-центра ВКонтакте

Система контроля доступа и охрана дата-центра ВКонтакте

На территорию дата-центра ВКонтакте могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Дата-центр ВКонтакте

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но команда инженеров ВКонтакте планомерно работает над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы пользователи социальной сети каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с дата-центром ВКонтакте поближе, став частью команды. ВКонтакте приглашает на работу системных администраторов.

На территорию дата-центра ВКонтакте могут попасть только сотрудники

Есть вопросы?

Вопросы автору статьи можно задать в официальном сообществе технического блога ВКонтакте.

По материалам:
https://vk.com/blog/datatsentr-vkontakte

Заберите ссылку на статью к себе, чтобы потом легко её найти ;)

Выберите, то, чем пользуетесь чаще всего:

Спасибо за внимание, оставайтесь на связи! Ниже ссылка на форум и обсуждение ; )

Войдите чтобы комментировать

Обсудить эту статью

INFO: Вы отправляете сообщение как 'Гость'