- Сердце ВКонтакте — дом Зингера на Невском проспекте
- Как построить дата-центр?
- Добро пожаловать в дата-центр ВКонтакте
- Электроснабжение дата-центра ВКонтакте
- Система охлаждения дата-центра ВКонтакте
- Структурированная кабельная система дата-центра ВКонтакте
- Система пожаротушения дата-центра ВКонтакте
- Мониторинг дата-центра ВКонтакте
- Система контроля доступа и охрана дата-центра ВКонтакте
- Дата-центр ВКонтакте
- Есть вопросы?
Сердце ВКонтакте — дом Зингера на Невском проспекте
Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. В этой статье почитаем и посмотрим, где находится и как выглядит его мозг — дата-центр ИЦВА.
Как построить дата-центр?
ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.
Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:
- Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
- Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
- Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.
Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:
- Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
- Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
- Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
- Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
- Система видеонаблюдения.
Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит дата-центр ВКонтакте.
Добро пожаловать в дата-центр ВКонтакте
Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство ВКонтакте достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.
В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.
В пике дата-центр ВКонтакте генерирует более 1 Тбит/c внешнего трафика. К DWDM-системам дата-центра ВКонтакте подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.
Электроснабжение дата-центра ВКонтакте
Все элементы системы электроснабжения резервируются как минимум N+1.
Буквально напротив здания дата-центра ВКонтакте находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):
Схема электропитания дата-центра ВКонтакте в штатном режиме
Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:
Схема электропитания дата-центра ВКонтакте при аварии на вводе
Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.
Источники бесперебойного питания дата-центра ВКонтакте
А это аккумуляторы дата-центра ВКонтакте для них — внешне очень похожи на автомобильные…
...только занимают несколько больших помещений
Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре ВКонтакте в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.
Дизель-генераторные установки дата-центра ВКонтакте
Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:
Статический переключатель нагрузки дата-центра ВКонтакте + ручной байпас Digital Energy
Система охлаждения дата-центра ВКонтакте
Для комфортной жизни оборудования в машинных залах дата-центра ВКонтакте нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).
В дата-центра ВКонтакте фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.
Фрикулинг используется в одном машинном зале дата-центра ВКонтакте из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.
Внутренние блоки прецизионных кондиционеров дата-центра ВКонтакте
Внешние блоки прецизионных кондиционеров дата-центра ВКонтакте
Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:
Холодный коридор машинного зала дата-центра ВКонтакте
С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.
Горячий коридор машинного зала дата-центра ВКонтакте
Структурированная кабельная система дата-центра ВКонтакте
Километры бережно уложенных проводов в дата-центре ВКонтакте. Здесь не нужны слова.
Система пожаротушения дата-центра ВКонтакте
В ЦОДе ВКонтакте предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале дата-центра ВКонтакте клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.
Баллоны с хладоном дата-центра ВКонтакте
Манометр баллона с хладоном дата-центра ВКонтакте
Мониторинг дата-центра ВКонтакте
Все показатели здоровья дата-центра ВКонтакте отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).
Мониторинг электроснабжения дата-центра ВКонтакте
Мониторинг системы охлаждения дата-центра ВКонтакте
Система контроля доступа и охрана дата-центра ВКонтакте
На территорию дата-центра ВКонтакте могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.
Дата-центр ВКонтакте
ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но команда инженеров ВКонтакте планомерно работает над снижением этого показателя.
Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы пользователи социальной сети каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.
Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с дата-центром ВКонтакте поближе, став частью команды. ВКонтакте приглашает на работу системных администраторов.
Есть вопросы?
Вопросы автору статьи можно задать в официальном сообществе технического блога ВКонтакте.
По материалам:
https://vk.com/blog/datatsentr-vkontakte
Заберите ссылку на статью к себе, чтобы потом легко её найти!
Раз уж досюда дочитали, то может может есть желание рассказать об этом месте своим друзьям, знакомым и просто мимо проходящим?
Не надо себя сдерживать! ;)
