Кирилл Поляев, «АйТи Новация»: Все тенденции в ЦОДах ведут к энергоэффективности

Сегодня в фокусе нашего внимания — ЦОДы (центры обработки данных). Как их проектировать и строить в условиях импортозамещения? Где покупать оборудование для инженерных систем дата-центров и сколько всё это стоит? Спросим у Кирилла Поляева, главного инженера проектов ЦОД компании «АйТи Новация».

Какие проекты вы делаете и какова ваша роль в них? Чем занимаетесь?

К. П.: В сферу моих обязанностей входят осуществление функций технического пресейла, общение с заказчиком о концепции ЦОД, согласование выбора производителей оборудования. Также я выполняю функцию ГИПа. Это — контроль за разработкой проектной и рабочей документации, а также авторский надзор за строительством объекта в целом, когда мы уже приступаем к реализации.

Из интересных проектов, если коснуться отдалённого прошлого, мы принимали участие в строительстве ЦОД для нужд Олимпийского комитета Игр, которые проходили в городе Сочи. Интересность проекта была в том, что нужно было сделать всё очень быстро, качественно и надёжно. Так как сроки были сжатыми, приходилось не дожидаться окончания разработки полного комплекта проектной документации, а где-то примерно в середине этого цикла, понимая, какое оборудование с большими сроками поставки мы будем использовать, осуществлять закупку. Соответственно, дальше продолжался процесс разработки документации, а оборудование уже ехало на объект.

В итоге мы смогли уложиться в сроки, которые озвучивало наше государство в лице генерального спонсора Игр — компании «Ростелеком». Объект был реализован, и «Ростелеком» продолжает его успешно эксплуатировать.

Можно ли построить ЦОД в актуальных ныне условиях?

К. П.: Относительно недавно мы заключили договор на проектирование большого коммерческого ЦОД в городе Краснодаре по франшизе компании 3Data. Это крупный оператор дата-центров. Инвестором выступила крупная строительная компания. Это произошло практически сразу после наступления 24 февраля 2022 года. Мы совместно с 3Data рассматривали разные решения, от параллельного импорта западной продукции до её замены. В итоге мы всё-таки сошлись на том, что предпочтительнее будет заменить западные компоненты инженерных систем на азиатские и даже отечественные.

Есть спектр продукции, которая производится у нас на территории страны, достаточно неплохого качества, как оказалось при её изучении. Честно скажу, я был очень удивлён, посетив одну из производственных площадок «ВЕЗА». Там практически полностью автоматизированные процессы производства, и продукция выходит весьма хорошего качества. 

Если брать оборудование холодоснабжения, это уже очень близко к немецким аналогам типа STULZ или американских аналогам типа Vertiv. Думаю, что если мы поможем производителю и будем давать обратную связь по работе данного оборудования, оно, вполне вероятно, станет точно не хуже западных аналогов. Я ожидал худшего результата. У меня было с чем сравнить. До начала СВО я посещал производственную площадку компании Legrand в городе Лимож во Франции.

А по каким позициям аналогов всё-таки ещё нет и не предвидится?

К. П.: Если говорить о готовом оборудовании, таких позиций не существует, их все можно заменить. Тут вопрос — в компонентах. Некоторые из них производятся на Тайване. Если взять, опять же, холодоснабжение, то в кондиционерах есть так называемые электронно коммутируемые вентиляторы. В них используются полупроводники, которые производятся только на Тайване. В начале этого десятилетия был кризис полупроводников, тогда даже у западных вендоров возникали проблемы с отгрузкой оборудования. У той же компании STULZ, например, одно время зависла очень большая партия кондиционеров из-за того, что они не могли получить необходимые комплектующие из Тайваня. То есть проблема была повсеместной.

Сейчас вообще во время глобализации экономики практически невозможно создать какой-то продукт на территории одного государства. Поэтому приходится какими-то путями эти компоненты добывать, условно говоря. 

Приведу ещё один пример из темы холодоснабжения: пароувлажнение в ЦОД. Оно необходимо, потому что если воздух очень сухой, то образуется статическое электричество. В кондиционере устанавливается такой модуль, как пароувлажнитель. И вот, опять же, по какой-то для меня непонятной причине практически все производители оборудования — отечественные, турецкие, западные — используют пароувлажнители фирмы Carel. Исключение — разве что Китай. Соответственно, та же компания «ВЕЗА» вынуждена какими-либо путями это пароувлажнение заказывать с помощью параллельного импорта. Из-за этого сроки сборки кондиционеров сильно увеличиваются.

А что вы думаете о параллельном импорте? Он нам нужен или всё-таки можно обойтись без него?

К. П.: Я считаю, что в какой-то степени это возможно, потому что сейчас достигнута глобализация экономики и что-то сделать внутри одного государства, наверное, вряд ли получится. Я думаю, что это и не нужно. Кто-то хорошо делает одно, кто-то хорошо делает другое. 

У меня был интересный прецедент, и не один. Обращаются заказчики, у которых, например, ЦОД смонтирован в период с 2012 по 2016 годы. Истекают сроки эксплуатации оборудования, боятся что-то делать с ним. В ЦОДе крутится какая-то критическая информация. Заказчики пытаются выяснить, кто им может помочь поддержать это оборудование в работоспособном состоянии, то есть обеспечить замену каких-то компонентов. В этом случае я предлагаю не экономить, потому что поддержки вендора не будет и это связано с большими рисками. 

И как такая компания должна поступить? Взять на себя все эти риски и надеяться на то, что каналы поставки этих запасных частей будут доступны в течение сервисного контракта?

К. П.: Я всё-таки рекомендую нашим заказчикам присмотреться к такой модели взаимодействия: поэтапная замена оборудования на то, что сейчас доступно и имеет поддержку производителя. То есть можно без остановки ЦОДа поэтапно заменить, например, 10 прецизионных кондиционеров по очереди. И, соответственно, мы получим уже импортозамещённый ЦОД, полностью функционирующий, с гарантией от производителя, а не от системного интегратора. По крайней мере, производитель наверняка будет существовать долгое время и обеспечивать гарантийные обязательства перед конечным заказчиком.

Во что может вылиться этот процесс замены? Что будет с ценами?

К. П.: Цены в основном выросли, но кто-то держит их на прежнем уровне. По поводу логистики — она усложнилась. Допускаю, что с ценами тоже не всё так просто. Вы знаете, наверное, что на цены больше повлияла не специальная военная операция, а ключевая ставка Банка России вместе с текущим курсом валют. Даже при начале СВО было такое окно, когда доллар и евро стоили 50–60 рублей. Тогда ещё было доступно даже некоторое западное оборудование, оно стоило просто шикарно в тот момент. Но когда курс валюты изменился, и западное, и отечественное, и азиатское оборудование сильно подорожало.

Сейчас цены на  некоторые позиции выросли в 1,5 раза. Дальше мы будем зависеть от экономических показателей: курса иностранной валюты и ключевой ставки Центробанка. 

С азиатским оборудованием несколько проще. Для примера возьмём сферу энергетики. У нас есть достойные бренды, такие как DKC. Очень похвально, что компании включились в работу и стараются повысить качество своей продукции, пытаются импортозаместить практически всё, что возможно. Но всё-таки в том, что касается тяжёлой энергетики, систем распределения питания, где мы говорим о токах от полутора  тысячи ампер и выше (это крупные ЦОДы), я бы рекомендовал посмотреть в сторону китайских производителей, таких как компания CHINT. У них оборудование ничем не хуже того же ABB, Legrand.

А вот если взять холодоснабжение, то тут не всё так очевидно. Здесь я бы рекомендовал всё-таки обратиться к отечественным либо турецким аналогам. Среди отечественных выделю таких вендоров, как HTS, «ВЕЗА», завод «РЕФКУЛ».

А почему не китайское оборудование?

К. П.: Есть моменты, где наши коллеги из Азии лукавят. Возьмём два одинаковых по холодопроизводительности прецизионных кондиционера, к примеру, того же «РЕФКУЛа» и какого-нибудь китайского вендора, и на основании данных моделей построим систему охлаждения машинного зала ЦОД. При охлаждении ЦОД кроме холодопроизводительности учитывается ещё куча параметров, таких как расход воздуха, скорость воздушного потока и т.д.. Начнём сравнивать. Сколько нужно тех или иных кондиционеров, чтобы охладить, скажем, машзал из 100 стоек? Если произвести все расчеты и выполнить моделирование системы холодоснабжения ЦОД методами вычислительной гидродинамики (CFD), окажется, что китайских кондиционеров потребуется на несколько штук больше. И вся экономия на стоимости сойдёт на нет.

Китайские коллеги несколько иначе смотрят на то, как должна работать система охлаждения. Они делают кондиционеры той же мощности меньше габаритом — а это, по сути, воздуховод, через который должно пройти определённое количество воздуха. Если говорить простыми словами, не сильно углубляясь в технические подробности, когда мы начинаем его заужать, у нас возрастает скорость, а также возникает недостаток воздухообмена в ЦОД. Значит, нужно увеличить количество единиц оборудования.

Я рекомендую сравнивать решение к решению, а не единицу оборудования к единице оборудования.

Какие есть сложности в ваших проектах с постепенным импортозамещением?

К. П.: Мы как интегратор и проектировщик ЦОД очень дорожим своей репутацией и подходим к этой проблеме достаточно глубоко. Помимо BIM-моделирования, которое стало сейчас обязательным, мы используем в работе моделирование системы холодоснабжения методами вычислительной гидродинамики, то есть так называемое CFD-моделирование. Оно позволяет увидеть работу системы охлаждения вживую, как это будет функционировать на практике.

Для того чтобы применять CFD-моделирование, необходимо получить от производителя достаточно большое количество технических подробностей и параметров оборудования. Начиная работать с импортозамещённым оборудованием, мы встречали некоторое непонимание. Что азиатским коллегам, что нашим отечественным производителям наш подход казался слишком дотошным.

Думали, что не доверяете?

К. П.: Смущало, что я запрашиваю слишком много подробностей об их оборудовании. Мы начали работать с ЦОДом 3Data в Краснодаре прямо после начала СВО и столкнулись с некоторым непониманием: эти технические подробности приходилось клещами вытаскивать. Я даже ездил к руководству производителей и разговаривал, буквально объяснял, что мы не шпионы. Говорил, что мы дорожим своей репутацией и при реализации объекта проблем у заказчика не должно быть никаких. Вообще, конечно, немного похоже на конкурентную разведку. Я понимаю, почему они напряглись. Преодолеть удалось, но на самом начальном этапе это сопротивление было.

Возникли ли ещё какие-то сложности по документации, когда они всё-таки решились с вами делиться? Не было ли ошибок и накладок?

К. П.: Там были некоторые вопросы, как я говорил, связанные с пароувлажнением. Мы пытались понять задумку коллег из Азии, так её и не поняли, к сожалению, до сих пор. Поэтому пришлось остаться на Carel.

Надёжны ли решения, которые поставляют российские производители?

К. П.: Хочу сказать в защиту наших производителей, что мне очень нравятся их напор и усердие. Это на самом деле очень похвально. Я надеюсь, что когда-нибудь в далёком (или не очень) будущем мировая конъюнктура изменится, а наши производители продолжат в том же духе заниматься развитием этой отрасли, несмотря ни на что. Потому что есть большие предпосылки выйти на очень хороший уровень.

А чего им сейчас не хватает, как вам кажется?

К. П.: Им не хватает отзыва клиента, если простыми словами сказать. Западные аналоги очень давно эксплуатируются, у них куча откликов от заказчиков, они на основании этих откликов улучшают своё оборудование, продлевают срок его службы. У отечественных производителей сейчас ещё нет такого накопленного опыта эксплуатации. И чем больше будет этого опыта и откликов, тем лучше это оборудование станет.

И чем меньше будет параллельного импорта?

К. П.: Да, в том числе. Мы часто в наших интервью и эфирах призываем уважаемых заказчиков помочь друг другу вести бизнес и что-то создавать. Потому что иначе никак. Ведь при таких взаимодействиях возникает обратная связь. Заказчики бывают разные. Кто-то хорошо погружается в тему инженерных систем, кто-то доверяет интегратору и слушает его.

Лучше, конечно, получить обратную связь от пользователя. Но и интегратор, который в этом разбирается, тоже даёт отклик. В принципе, мы не сталкиваемся с непониманием. В основном все идут навстречу и стараются поддержать идеи, будь они нашими или конечного заказчика.

Уже упоминалось, что вы как интегратор заранее начали заниматься моделированием, активно общаетесь с поставщиками. Получается, что вы во многом идёте на шаг впереди. Чем ещё вы отличаетесь от других интеграторов? Что ещё делаете по-другому?

К. П.: Грамотно сделанный проект инженерных систем ЦОД — это 70 % успеха при его строительстве. Есть некоторые даже крупные компании-интеграторы, которые работают в сфере ИТ и хотели бы тоже занимать какую-то долю в нише строительства инженерных систем ЦОД. Условно, при отсутствии у себя в штате команды экспертов необходимой квалификации они берут кучу субподрядчиков и с их помощью пытаются сделать проект. Один, например, делает энергетику, другой — холод, третий — пожарную безопасность, четвёртый — ещё что-то. И потом, когда всё это складывается воедино, выходит, мягко говоря, чепуха.

У нас команда экспертов своя. Когда решался вопрос, кто будет проектировать ЦОД в Краснодаре по франшизе компании 3Data, был отбор. Сначала — ценовой, после него нас осталось трое: мы и ещё двое конкурентов. Следующим этапом отбора было интервьюирование техническим директором 3Data ГИПов этих компаний. После того как мы с ним пообщались, он сказал, что понял: мы будем делать это сами, а остальные — непонятно как. Соответственно, лучше, чтобы у интегратора была собственная экспертиза. Вот это — главный, наверное, залог дальнейшего успеха, его фундамент.

Какие тенденции можете выделить на рынке по проектированию ЦОДов?

К. П.: Все тенденции в ЦОД ведут к энергосбережению. В ЦОД есть такой показатель, как PUE (Power Usage Effectiveness); это отношение полной потребляемой мощности ЦОД к потреблению ИТ-оборудования. Сейчас есть тренд на использование специального оборудования, которое может работать при весьма высоких температурах воздуха на входе и охлаждаться. Если мы возьмём стандартный ЦОД, то его температурная норма — 22 плюс-минус 2 градуса на входе в оборудование. При использовании специальных решений эта температура может быть вплоть до плюс 40 градусов. Соответственно, чем выше температура, тем меньше энергии мы тратим на то, чтобы её снизить.

«Яндекс» активно использует такие решения в своих ЦОДах. Знаю, что пытается строить по такому принципу ЦОДы компания Wildberries. Этот формат очень интересен, но нужно понимать, что он подходит только для крупных корпоративных ЦОДов. Для коммерческих, таких как используемые компанией 3Data, этот подход не годится, поскольку в коммерческий ЦОД оборудование несут клиенты (и платят за это деньги). Какое оборудование клиент принесёт? Скорее всего, обычное.

Получается, что они не могут двигаться по тому пути, которым идут крупные компании?

К. П.: Могут, есть различные энергоэффективные решения и для данных ЦОД. Но нужно понимать, что тогда такой ЦОД нужно будет строить в соответствующих климатических условиях. В основном, все ЦОДы страны сосредоточены в центральной части, в Сибири, на Урале, потому что там короткое лето.

Если рассматривать ещё экономическую эффективность, то что было бы выгоднее: модернизировать свой ЦОД или отнести своё оборудование в коммерческий?

К. П.: Здесь нет единого рецепта, всё индивидуально. Иногда компания готова содержать в своём штате не только службу эксплуатации ИТ, но и службу эксплуатации инженерных систем собственного ЦОД (то есть, как минимум, инженеров по холодоснабжению, по энергоснабжению, по пожарному оборудованию и так далее), иногда она решает эти вопросы с помощью компаний-подрядчиков.

Даже компания «Озон», насколько я знаю, имея в своём багаже порядка 10 тысяч серверов, размещает их исключительно на коммерческих площадках.

Кирилл, спасибо за интересную и содержательную беседу! Мы желаем вам дальнейших успешных проектов и заказчиков с отличным качеством оборудования.