Особенности инженерной инфраструктуры для ИИ-ЦОДов
Василий Мочар, директор аналитической компании ITResearch
Мы живём в эпоху перемен. Причём, её масштаб один из самых больших за всю историю человечества. Текущий момент характерен не одним глобальным взаимодействием, а целым набором взаимоувязанных качественных преобразований: как политических, экономических, демографических, климатических, производственных, научных, так и технологических. И в ряду последних, безусловно, на первом месте находится тема ИИ (Искусственного Интеллекта), которая по своему потенциальному долговременному воздействию может поспорить по значимости даже со сломом глобального либерального мира, также разворачивающимся прямо сейчас.
Не будем углубляться в обоснование, поскольку не это является целью данного обзора, но мы уверены в таком выводе на все 100%. И перед переходом к основной части отметим только, что схожая технологическая лихорадка разворачивалась 25+ лет назад, в эпоху «Дот-комов». Напоминаем, что тогда же, в начале текущего тысячелетия, случился масштабный кризис, который, впрочем, не убил отрасль, а послужил профилактикой и даже неким «санитаром леса», охладив излишние горячие головы и избавив мир от многих дутых и нежизнеспособных проектов. Сейчас, с вероятностью 99,999%, нас ждёт еще более глобальный обвал, поскольку денег в отрасль вкачано на порядки больше, а «деревья не растут до небес».
Впрочем, есть и кардинальное отличие от прошлого коллапса: текущая лихорадка опирается не на виртуальные компании, а на реальную сверхвысокопроизводительную инфраструктуру. В тысячи громадных ДАТА-центров вкачаны, без преувеличения, триллионы долларов. И даже когда грянет неизбежный кризис, они всё равно не будут закрыты, а в кратчайшее время найдут своё применение в цифровизации экономик. И хотя заказчикам пришлось переплатить в разы, а то и на порядки, за оборудование на хайпе, это ни в коем случае не деньги, выброшенные на ветер.
ИИ – это глобальная тема, которая разрабатывается (а не продвигается, внедряется практически во всех уже) в считанном числе самых развитых стран мира, включая Россию. При этом как за рубежом, так и у нас развитием ИИ полноценно занимается считанное число крупнейших компаний. Помимо Сбера и Яндекса можно выделить также платформы VK, МТС, Росатома, Т-технологий, Лаборатории Касперского и еще считанное число корпоративных ИИ-решений (Cloud.ru, Ainergy, ITGLOBAL.COM, Nord Clan, Napoleon IT, Siberian.pro, SimbirSoft, KTS, Just AI, Softline Digital, AGIMA, R77 AI).
Отсюда делаем вывод, что реальная потребность в соответствующей ИТ-инфраструктуре крайне сконцентрирована, не создавая широкого рынка поставщиков. Не забываем и о том, что ряд упомянутых компаний сами строят специализированные ИИ-ЦОДы и сами же являются их операторами. Причем, часть уже существующих площадок адаптируют под сверхвысокие нагрузки (если это возможно), а часть строят специально «с нуля» под ИИ.
Кстати, за 2025 год дата-центры сожгли 448 TВт·ч по всему миру. Будь они страной, заняли бы 11-е место, обогнав Саудовскую Аравию, а к 2030-му поднимутся на шестое место, до потребления 3% мирового электричества. При этом 90% специализированных под ИИ дата-центров стоят всего в двух странах – США и Китае, а больше 150 государств вообще не имеют такой инфраструктуры.
Если выделить собственно ИИ Вычислительные Кластеры (сверхмощные специализированные системы из множества серверов с графическими процессорами для обучения больших моделей), то, по оценке TRG Datacenters, в 2025 году в России насчитывалось около 8 таких кластеров. Для сравнения: Китай – 230 и США – 187.
При этом «ИИ-лихорадка» — это не только рай для спекулянтов. Это взрывной рост не только продаж GPU пресловутой компании Nvidia, но и различной «инженерки». Если по ИБП, то на самом ёмком американском рынке это Schneider Electric, далее по значимости Eaton, Siemens Energy, GE Vernova, ABB, Legrand. Системы охлаждения: Vertiv, Trane, Johnson Controls и STULZ. Серверы, стойки и интеграторы (rack-scale): Supermicro (как главный партнер Nvidia), Dell Technologies, Hewlett Packard Enterprise, далее Quanta/QCT и Wiwynn/Wistron. У нас в России другие бенефициары, большинство из которых локальные(!). По рынку ИБП вы их знаете из отчётов ITResearch.
Очевидно, что столь важный вопрос, как ИИ, требует от нас особого внимания. Мы не претендуем на всестороннее освещение данной темы, да это и невозможно в рамках одного, сколь угодно большого обзора. Но нас, аналитиков рынка ИБП, крайне интересует, состоялось ли уже понятие «ИИ-ЦОД», поскольку это совсем не досужие размышления. Дело в том, что всплеск продаж высоконагруженных стоек потенциально тянет за собой революционные изменения в объемах, структуре и технологиях всей отрасли ИБП, и отслеживать их и доносить до игроков рынка – наша обязанность.
В этом обзоре сосредоточимся на следующих аспектах: что, собственно, имеет право называться ИИ-ЦОДами, какие технологии критичны и какое оборудование требуется для их строительства, а также какие основные требования Заказчиков.
В раскрытии данной темы нам помогал ряд ведущих экспертов, представляющих ключевые компании российского рынка ИБП. Примечательно, что среди них были и люди, принимавшие участие в прошлогоднем Исследовании.
От требований ЦОДа до готовой системы питания
Практика проектной адаптации ИБП «Импульс».
Тимофей Тривайлов, руководитель направления ЦОД
При выборе ИБП для ЦОДа за номинальной мощностью стоят вполне конкретные вопросы: поместится ли оборудование, подойдёт ли к существующей инфраструктуре, как его будут подключать и обслуживать. На примерах из практики «Импульса» Тимофей Тривайлов, руководитель направления ЦОД, рассказывает, как требования заказчика становятся конструкторской документацией, конкретными доработками и готовой системой питания.
Можете Вы привести пример проекта, в котором требования объекта определили конструкцию ИБП?
Да, один из таких проектов — замена зарубежного моноблочного ИБП, снятого с производства. В действующем ЦОДе нужно было сохранить инфраструктуру: новый шкаф должен был вписаться в габариты 1500 × 850 × 1900 мм, забирать охлаждающий воздух из-под фальшпола и выбрасывать его вверх. Кроме того, требовалось обеспечить работу с существующим массивом из 32 аккумуляторов без нейтральной точки. Одного совпадения по мощности здесь было недостаточно…
Как такие требования превращаются в готовое изделие? Как у вас организована эта работа?
У нас несколько производственных площадок, которые работают с разными типами заказчиков и задач. Проектную адаптацию ИБП для ЦОДа выполняем на нашей производственной площадке в Китае. Московская площадка занимается другими проектными исполнениями — например, для нефтегазовых заказчиков. Это разные направления одной работы: подобрать исполнение системы под условия её применения…
Реклама: ООО «Системотехника»,
ИНН: 7743857750, ERID: 2SDnjdWxWA8
Есть ли ИИ-ЦОДы в России?
Начнем с того, что ровно год назад, осенью 2025 г., аналитическая компания ITResearch выпустила серьезное Исследование, посвященное анализу важнейших моментов, связанных с функционированием и перспективами отечественного рынка ИБП. Был проведен опрос, в котором приняли участие ведущие эксперты (представители вендоров, интеграторов и дистрибьюторов), которые суммарно охватывают более 85% всего российского рынка ИБП. То есть это оказалась уникальная ситуация, когда выборка/фокус-группа была практически равна генеральной совокупности. Это позволяет с уверенностью утверждать, что их консолидированное мнение максимально соответствует реальной ситуации. Тем более, благодаря привлечению настоящих экспертов из ведущих компаний, глубоко погруженных в тему, дисперсия данных оказалась крайне низкой, что также повышает точность и устойчивость выводов.
В рамках упомянутого во введении Исследования целый ряд вопросов касался темы ЦОДов и собственно ИБП для данного ключевого целевого рынка, который контролирует, по меньшей мере, 20% всех продаж (данные ITResearch). Также эта тема отдельно обсуждалась с экспертами в соответствующей статье на «Бестселлерах».
Несмотря на формальное отсутствие такого класса, как «ИБП для ЦОДов», фактически это явление уже сформировалось. Это IGBT-, преимущественно модульные решения с максимальной плотностью энергии: до 125 кВА на силовой блок и до 1200 кВт на фрейм. Конечно же, power factor =1. Обязательны масштабируемость и максимальный КПД. Естественно, резервируемость и минимальное время простоя, легкость обслуживания, возможность установки литий-ионных АКБ, управляемость и поддержка режима работы 24/7.
Но уже год назад очевидно прорисовывалось, что ИБП для ИИ-ЦОДов может представлять собой особый феномен. (Более подробно мы обсудим этот вопрос в следующих разделах).
Поэтому одной из задач в Исследовании была попытка оценить уровень пенетрации ИИ-ЦОДов в России. Для этого, в рамках Исследования, мы просили экспертов оценить «верность» или «неверность» различных утверждений. Ниже мы приведем только основные штрихи, более внимательно можно посмотреть и самостоятельно интерпретировать по приведенной диаграмме. Кстати, при анализе таких итогов необходимо принимать как % охвата, так и относительную «высоту» столбиков (хотя нормировку на 100% всё же делать не следует).
Ощутимое, но всё же пока ограниченное (38%) число экспертов отметило, что «Уже строятся/планируются специализированные ИИ ЦОДы». При этом из анализа ответов следует, что ИИ-ЦОД пока строятся преимущественно в Москве. Причем они действительно мощные и при этом масштабируемые.
52% экспертов согласны с тем, что «Многие ЦОДы изначально планируются под определенные типы ИТ-нагрузки. Отсюда следуют различные подходы по построению СБЭП». Это самый популярный ответ из всех, и это значит, что проблематика не надумана, и ею действительно нужно заниматься. Кстати, при этом только треть считало, что «Даже если в ЦОДах есть стойки с высокой плотностью энергии и тепловыделением, это особо не влияет на конфигурацию и тип ИБП». Получается, что две трети всё же думало иначе.
Повторяем, это Исследование всего лишь годичной давности, а ситуация (по теме ИИ) меняется с молниеносной скоростью.
NERPA NT33B20: трёхфазная защита серверной инфраструктуры
NERPA NT33B20 — трёхфазный ИБП с двойным преобразованием для защиты систем промышленной автоматизации, серверного и телекоммуникационного оборудования. Модель рассчитана на нагрузку до 20 кВА/20 кВт и предназначена для объектов, где стабильность электропитания напрямую влияет на непрерывность работы.
NERPA NT33B20 выполнен в напольном корпусе и оснащён 40 встроенными аккумуляторами ёмкостью 9 Ач каждый. Возможность подключения внешних АКБ позволяет подобрать конфигурацию под необходимое время автономной работы. Поддерживается параллельное подключение до четырёх ИБП для увеличения мощности системы или организации резервирования.
Интерфейсы USB, RS232 и RS485 позволяют подключать устройство к системам мониторинга, а установка дополнительной SNMP-карты обеспечивает удалённый контроль по сети. ИБП поддерживает холодный запуск, оснащён статическим и сервисным байпасом, а также защитой от перегрузки, короткого замыкания и перегрева.
Ключевые характеристики:
· Топология: online, двойное преобразование
· Исполнение: напольное, tower
· Количество фаз: трёхфазный вход и трёхфазный выход, 3Ph+N+PE
· Номинальная выходная мощность: 20 кВА/20 кВт
· Выходной коэффициент мощности: 1
· Номинальное входное и выходное напряжение: 400 В между фазами, частота 50 Гц
· Диапазон входного напряжения при полной нагрузке: 305-478 В между фазами
· Стабилизация выходного напряжения: ±1%
· Форма выходного напряжения: синусоидальная
· Переход на питание от АКБ в режиме двойного преобразования: 0 мс
· КПД в режиме двойного преобразования: до 94,5%
· Встроенные аккумуляторы: 40 шт. по 12 В/9 Ач, две группы по 20 шт.
· Подключение внешних АКБ: предусмотрено.
· Индикация: цветной TFT LCD-дисплей 2,4 дюйма
· Интерфейсы: USB, RS232, RS485; SNMP-карта приобретается отдельно
· Силовое подключение: клеммные колодки
· Габариты (ШхГхВ): 250х900х868 мм
· Масса с установленными аккумуляторами: 187 кг
· Рабочая температура: от 0 до +40 °C
ИБП NERPA NT33B20 доступен к заказу через официального дистрибьютора — компанию OCS.
Реклама: ООО «ФабрикОн»,
ИНН:7751146052, ERID:2SDnjdvn1vt
Тимофей Тривайлов, руководитель направления дата-центров компании «Системотехника» (бренд Импульс) так и говорит: «Рынок переходит от универсального хостинга к инфраструктурной сегрегации. В этом году мы видим рост числа проектов ИИ-ЦОДов, и коммерческие площадки вынуждены адаптироваться: при разработке архитектурных решений они уже по умолчанию выделяют квоты мощности под задачи искусственного интеллекта».
Алексей Лобов, директор по развитию «Сайбер Электро», считает, что «изменения незначительные по своей сути, но заметные по интенсивности. Массового перехода на отдельные ИИ-ЦОДы не произошло, чаще речь идет о высокоплотных кластерах внутри универсальных площадок и первых специализированных объектах, преимущественно в Москве и Московском регионе.
Главная динамика здесь не в количестве объектов, а в инженерных параметрах: 40–100+ кВт на стойку становится обычной практикой, а не исключением. При этом переход порога в 40 кВт является критичным рубежом для применения воздушного охлаждения. Это перевело жидкостное охлаждение от пилотного применения к практическому реальному использованию. Например, технология direct-to-chip отводит 60–80% тепла».
Пётр Царьков, директор по работе со стратегическими заказчиками ООО «Айсо-дистрибьюция» подтверждает основные выводы (изложенные выше), но одновременно обращает внимание на ограниченность реализуемых площадок и на «эластичность» текущих технологических подходов: «Да, одно из требований к ИИ-ЦОДам – масштабируемость, актуально, так как ИИ-модели и архитектура постоянно меняются. Да, к сожалению, не все операторы готовы переплачивать за качественное бесперебойное электропитание. Кому-то это вообще не нужно. Но в большинстве те, кто серьезно и долгосрочно занимается ИИ-моделями и вычислениями (особенно на уровне «сверхразума»), вкладываются в СБЭП.
На данный момент, если говорить о России, то ИИ-ЦОДы строятся строго в «защищённых» городах, т. е. в миллиониках – Москва, Питер, Екатеринбург, Казань, Новосибирск, Нижний Новгород. Спрос на ИИ-ЦОДы на данный момент нарастает, расчет потребляемой мощности на одну стойку растет от 30 кВт до 140 кВт. Соответственно это меняет и подход к системе электропитания и другим инженерным системам. Даже уже строящиеся ЦОДы под ИИ в ходе строительства модернизируют инфраструктуру, так как ИИ-подход постоянно меняется».
Ольга Дроздова, руководитель стратегической бизнес-единицы "Телеком" в IEK, говорит, что «крупные ИИ-инсталляции в России есть как минимум у нескольких российских гиперскейлеров (Яндекс, Сбербанк и т. д.). В подавляющем большинстве эти реализации сделаны на базе уже действующих объектов. В ЦОДах выделяются специализированные машзалы с повышенной нагрузкой на стойку, доходящей до 150-200 кВт. Но пока GPU сервера остаются на переменном напряжении, с точки зрения СБЭП больших изменений нет. Растет общая мощность ИБП, увеличиваются номиналы сети распределения машзала и PDU, но принципиальных изменений не происходит. Есть общемировая тенденция перехода на постоянный ток при мощности на стойку в диапазоне от 400 до 800 кВт, но в России, в связи со сложностью получения серверного оборудования, заказчик не торопится переходить на решения, жестко привязанные к не самым распространенным и устоявшимся техническим решениям. Тестовые инсталляции есть, но промышленное использование еще не замечено».
Энергобезопасность ИТ-оборудования: решения на базе ИБП STARK COUNTRY и аккумуляторов Ventura
Бесперебойное электроснабжение – необходимое условие работы серверов, систем хранения данных и сетевого оборудования.
Комплексное решение с расширенной гарантией
Сочетание STARK COUNTRY ONLINE и Ventura HR позволяет выстроить систему, в которой ИБП поддерживает непрерывное питание оборудования с чистой синусоидой, а аккумуляторный блок обеспечивает резерв энергии на расчетное время автономной работы.
Широкий выбор моделей, устанавливающихся в стойку, дает возможность подобрать решение под мощность и задачи компоновку конкретного объекта, а регулируемые зарядные устройства позволяют согласовать режим работы ИБП с параметрами аккумуляторов.
Приобретение источника бесперебойного питания STARK COUNTRY вместе с аккумуляторами Ventura позволяет получить расширенную гарантию на ИБП – 3 года!
Реклама: ООО «Пауэрконцепт»,
ИНН:7710914611, ERID:2SDnjdrDfrk
Продвижение понятия ИИ-ЦОД
Прежде чем двигаться дальше, нам нужно уточнить, что же такое ИИ-ЦОД, тем более что наши эксперты прямо касаются этого вопроса. Причем, хватает как кардинальных мнений (об изначальной суперспециализации на уровне проекта), так и взвешенных (эволюционных) позиций, как, например, у Алексея Морозова, руководителя отдела продуктового маркетинга «Парус Электро», полагающего, что «рынок постепенно приходит к специализированным сегментам в составе ЦОДов для ИИ-приложений. Имеющаяся сейчас специфика работы GPU процессоров, особенно их энергопотребление, создает потребность в отдельных аппаратных секциях в составе ЦОДа для повышения эффективности обработки ИИ-задач. Но это, конечно, не отрицает возможность выполнять ИИ-приложения на традиционной инфраструктуре ЦОДа».
Стоит отметить, что сейчас в России вовсю обсуждают формальное разделение ЦОДов на «для ИИ» и прочие — это нужно, чтобы адресные меры господдержки (льготы, субсидии) шли именно на профильную инфраструктуру, а не размывались и не формировали недобросовестную конкуренцию в отрасли».
Алексей Лобов («Сайбер Электро») считает, что «Идея адресной господдержки — льгот и субсидий — при этом вполне логична: без специальных условий поддержка может распределиться на весь рынок ЦОДов, а не на развитие ИИ-инфраструктуры. Но формально разделять объекты пока рано: устойчивых критериев для этого нет. Например, какую долю ИИ-нагрузки должен иметь дата-центр, чтобы считаться ИИ-ЦОДом? Попытка установить такую границу создаёт риски искажения конкуренции и появления серых схем классификации. К тому же поколения GPU сменяются быстрее, чем обновляется нормативная база. Практичнее предоставлять поддержку исходя из конкретных параметров инфраструктуры — доступной мощности, энергоэффективности по PUE и готовности к размещению стоек с высокой плотностью нагрузки, — а не формального статуса ИИ-ЦОДа.»
Ожидается, что уже в ближайшее время под эгидой Минцифры будет выработана позиция по разделению ЦОДов ИИ и прочих ЦОДов. Но от себя можем добавить, что, понимая уровень разногласий как внутри ведомств, так и бизнеса, мы лично не надеемся в скорую формализацию и имплементацию данной сегрегации. Да и нужна ли она, повторяем, это еще большой вопрос.
Ольга Дроздова (IEK) считает, что: «Классифицировать центры обработки данных следует не по функциональному назначению, а по уровню надежности. ИИ-ЦОДы, как правило, требуют значительно большей подведенной мощности и соответствующих инженерных решений. Однако инфраструктура, построенная под такие характеристики, может быть использована и для обычных вычислений, поэтому они идут в общем ряду и не требуют особого отношения».
Однако есть и мнения о том, что это совсем другой мир и другая логика на этапе проектирования. В частности, Пётр Царьков (ООО "Айсо-дистрибьюция") говорит, что: «ИИ-ЦОДы отличаются от традиционных, требуют и мощности, и других инженерных решений. Мое мнение, если инфраструктура, построенная под такие характеристики, используется для другого, это говорит о том, что изначальный проект по ИИ не пошел, провалился или изначально сформирован неправильно».
Суммируя, можно прийти к выводу, что уже очень скоро нас ждёт формализация понятия «ИИ-ЦОД» и возможно даже Государственные Программы с внушительным инвестированием. При этом в ряде случаев это будут действительно гиперспециализированные комплексы, но лично мы вполне допускаем, что некоторые из них могут быть задействованы и для других задач, не связанных с ИИ. Особенно если учесть недавние решения Правительства о резервировании мощностей под Госнужды, а также возможного обвала фондового рынка и переориентации существующих решений на более традиционные задачи.
В портфеле Сайбер Электро появилась новая линейка оборудования для ЦОД — CyberData
Первой серией нового направления стала CyberData Prime — трехфазные модульные онлайн-ИБП мощностью 600–1000 кВА
CyberData Prime предназначена для дата-центров, где надежность электроснабжения напрямую влияет на непрерывность работы ИТ-систем и инженерной инфраструктуры. Модульная архитектура позволяет масштабировать систему в соответствии с требованиями объекта и создавать резервированные конфигурации. ИБП поддерживают параллельную работу до восьми устройств и построение систем по схеме N+1. Несколько ИБП могут работать от общего аккумуляторного массива.
Серия включает модели CDP-600-K, CDP-800-K и CDP-1000-K, ИБП строятся на модулях номинальной мощностью от 100 кВА. Среди ключевых характеристик — выходной коэффициент мощности 1,0, КПД до 96% и THDi ≤3% при 100% линейной нагрузке.
Отдельная торговая марка CyberData позволит быстрее ориентироваться в решениях Сайбер Электро, предназначенных именно для ЦОДов и других объектов критической инфраструктуры, и формировать на их основе комплексные предложения для заказчиков.
Реклама: ООО «СТАБТЕХ»,
ИНН: 5009123398, ERID: 2SDnjeCxpqi
Технологические особенности ИИ-ЦОДов
Было бы ошибкой считать, что только лишь мега-кластеры имеют право именоваться ИИ-ЦОДами. Теоретически и практически возможны и менее масштабные системы, главное, чтобы была обеспечена комплексная база ИТ и инженерной инфраструктуры.
Понятно, что «сердцем» системы являются высокоплотные GPU-кластеры для обучения больших языковых моделей (LLM) или других сложных задач машинного обучения. Это серверы с несколькими графическими ускорителями (NVIDIA H100, H200, B200 и аналоги), объединёнными высокоскоростными интерконнектами (NVLink, InfiniBand, RoCE) для быстрой синхронизации данных между узлами.
Также нужна высокоскоростная сетевая инфраструктура для синхронизации работы множества GPU в кластере, нужны сети с низкой задержкой и высокой пропускной способностью (400GbE, 800GbE). Для хранения больших датасетов и промежуточных результатов требуются быстрые накопители — NVMe SSD (U.2/U.3, E1.S/E3.S). Необходимы и интеллектуальные системы управления для гибкого распределения ресурсов между задачами (обучение требует максимума мощности, а инференс — низкой задержки), поэтому часто внедряют программно-определяемые решения (SDDC), которые могут автоматически регулировать нагрузку на инженерные подсистемы.
Но не менее важно мощное и резервированное электропитание. Серверы с GPU «съедают» значительно больше энергии, чем обычные: если стандартная стойка потребляет 5–15 кВт, то для ИИ-нагрузок показатель легко доходит до 40–100 кВт и выше. Поэтому в ЦОДы для ИИ закладывают усиленные блоки питания с резервированием (N+N или N+1), а также тщательно просчитывают общую подведённую мощность объекта.
Но оказывается, не только свехнагруженные стойки отличают ИИ-ЦОДы. Михаил Богачук, коммерческий директор компании «Абсолютные Решения» (бренд ABSolite) акцентирует внимание на том, что «работа ЦОДов с искусственным интеллектом принципиально отличается от работы классического IDC: многочисленные графические процессоры создают мгновенные синхронные переходы из режима ожидания в режим максимальной производительности как в процессе обучения, так и в процессе выдачи результата вычислений, вызывая резкий, скачкообразный рост потребления электроэнергии серверами — микро-всплески (внутрипакетные импульсы) длительностью 1-100 миллисекунд, при этом энергопотребление стойки или всего дата-центра может мгновенно изменяться на 70–80%, а возможно, и более. Все это, с учетом масштабов AIDC, происходит на огромных мощностях электроснабжения, измеряемых на сегодня уже мегаваттами, требующими либо высокоплотной компоновки источников бесперебойного питания, либо нового технического подхода. Набросы нагрузки такого уровня, разумеется, предъявляют более высокие требования к схемотехническим и конструкторским решениям, используемым в силовых модулях ИБП, схемах управления, мониторинга и предиктивной аналитики».
Также стойки выделяют огромное количество тепла, и воздушное охлаждение перестаёт эффективно с этим справляться. Ольга Дроздова (IEK) обращает на это особое внимание: «С точки зрения инженерной инфраструктуры ИИ-ЦОДы в первую очередь требуют изменения архитектуры системы холодоснабжения. Охлажденным воздухом невозможно снять свыше 25-30 кВт со стойки. Требуется либо прямое жидкостное охлаждение серверов (Direct liquid cooling), когда охлаждающая жидкость подается непосредственно на процессоры сервера, либо иммерсивное (погружное) охлаждение, когда сервер целиком погружается в ванну с хладоагентом.
Также для критически важных сервисов закладывают дублирование ключевых систем (питание, охлаждение, сетевые пути). Примером такого ИИ-ЦОДа является «ДолИИна». Его особенности: плотность более 120 кВт на стойку, жидкостное охлаждение direct-to-chip, собственная подстанция 110 кВ, модульная архитектура (можно масштабировать по мере роста задач). Предлагает не только колокацию (размещение своего железа), но и сервисы вроде GPU-as-a-Service. Расположен в Ленинградской области (Индустриальный парк М-10 «Пионер»)».
Есть еще один важный аспект, способный в будущем полностью сменить логику построения СБЭП для ИИ-ЦОДов, вплоть до отказа от классических ИБП. Алексей Морозов (Парус Электро) считает, что «для ИИ-ЦОДов характерна не только высокая пиковая нагрузка, но в будущем ожидается большая плотность мощности для оптимизации стоимости вычислений. Соответственно необходима принципиально новая специализированная система энергообеспечения и охлаждения. Мы видим поэтапный процесс от доработки существующих конструктивов модульных отказоустойчивых ИБ до перехода на системы электропитания постоянного тока (800V DC) в комплексе с накопителями энергии и буферными суперконденсаторными установками для компенсации пиков».
Правда, Тимофей Тривайлов («Системотехника») пока не согласен со столь кардинальным подходом «в части базового электроснабжения Россия, действительно, не нуждается в экзотических схемах вроде 800V DC — наши промышленные стандарты распределения 400V AC остаются актуальными и эффективными». И заодно обращает внимание ещё на один важный практический аспект: «Основное отличие ИИ-ЦОДов в том, что они имеют большие колебания мощности нагрузки. При работе от сети компенсация бросков не требуется. Но, учитывая невозможность получения ТУ на подключение к сети в Москве и области все новые проекты используют ГПУ как основной источник энергии. А для ГПУ броски мощности критичны. Поэтому реализация проектов ИИ-ЦОД- в Москве и области возможна только с применением систем накопления энергии (СНЭЭ) для компенсации бросков мощности в нагрузке. Для увеличения диапазона компенсации бросков мощности в паре со СНЭЭ мы используем модульные ИБП с LFP-батареями, они способны компенсировать броски до 20% своей мощности в дополнение к СНЭЭ».
Непрерывность работы как критический фактор
Именно в ИИ-ЦОДах разрыв между «проектной» и реальной нагрузкой проявляется сильнее всего. GPU-кластеры создают профиль нагрузки, на который классические ИБП не рассчитаны: плотность на стойку 40–120 кВт и выше против 5–10 кВт в традиционном ЦОДе, резкие ступенчатые скачки при запуске и остановке задач, мгновенные пики при переключении этапов обучения. Устаревшие или недостаточно динамичные ИБП в таких режимах уходят в перегрузку или аварийно отключаются — как раз в момент, когда нагрузка выросла.
Когда ИБП уходит в аварию, бизнес теряет деньги. ITK держит нагрузку — и держит слово.
Уход западных вендоров оставил рынок без сервиса и гарантий. А у вас по-прежнему есть задачи: защитить ЦОД, телеком узел или производственную линию от простоев.
С трёхфазными ИБП ITK Серии OM вы не зависите от внешних рисков.
Серия ITK ELECTRA OM — это флагманская линейка модульных онлайн-ИБП двойного преобразования для крупных объектов: ЦОД, телеком-узлов, промышленных предприятий, банков, медицинских учреждений и научных центров. Архитектура построена по принципу «системное шасси c горячей заменой силовых модулей», что даёт уникальную гибкость при масштабировании и обслуживании.
Подробнее
Реклама: АО «ИЭК ХОЛДИНГ»,
ИНН: 5074092485, ERID: 2SDnjeHRo8Y
Tier или не Tier?
Итак, очевидно, что действительно существуют глубинные технологические различия между «классическими и ИИ-ЦОДами». Поэтому мы посчитали необходимым вкратце уточнить, насколько требования к ИИ-ЦОДам согласуются с привычными в отрасли Tier3 и Tier4 (сертификация инженерных систем по стандартам Uptime Institute). Или же такая классификация здесь просто неприменима, и есть другие критерии оценки качества и надежности проекта?
Тимофей Тривайлов («Системотехника») говорит, что «требования к схемам электроснабжения для ИИ-ЦОДов действительно остаются прежними: архитектура Tier III или Tier IV по-прежнему требует наличия двух независимых энерговводов и ДГУ. Однако привычная классификация Tier здесь перестает быть единственным и достаточным критерием оценки качества проекта. Таким образом, Tier-сертификация остается необходимой для подтверждения надежности схемы электроснабжения, но для оценки реального качества ИИ-проекта рынку требуются дополнительные метрики, описывающие термодинамическую устойчивость машзала».
Алексей Лобов (Сайбер Электро) также считает, что «классификация Uptime Institute по уровням Tier I–IV по-прежнему актуальна: она отражает уровень отказоустойчивости и резервирования инфраструктуры. ИИ-ЦОДы, как правило, проектируются на уровне Tier III, а наиболее критичные сегменты — Tier IV. При обучении моделей простой обходится дорого, поэтому инвестиции в резервирование систем бесперебойного электропитания оправданы.
Но Tier отвечает на вопрос, насколько надёжна инфраструктура, а не насколько плотную нагрузку она способна выдержать. Поэтому для ИИ-ЦОДов нужно учитывать и другие параметры: допустимую мощность на стойку и квадратный метр машзала, поддержку жидкостного охлаждения, способность систем электропитания справляться с резкими скачками нагрузки при переключении GPU-кластеров из режима ожидания в пиковый, энергоэффективность по PUE, а также возможность быстро наращивать мощности за счёт модульной архитектуры.
Поэтому корректнее оценивать ЦОДы по сочетанию Tier и профиля нагрузки. Два объекта одного уровня Tier могут существенно различаться по плотности размещения оборудования и требованиям к системам бесперебойного электропитания».
Пётр Царьков (ООО "Айсо-дистрибьюция") настроен несколько более прагматично: «С точки зрения конечного потребителя ИИ абсолютно все равно как, где и на чем ЭТО сделано. Главное, работает – вычисляет, анализирует, прогнозирует и т. д. С точки зрения требований к ИИ-ЦОДам все просто и прагматично – они должны соответствовать действующим нормативам на территории РФ, особенно в нынешних реалиях. Уровень требований и надёжности — это компромисс между экономической моделью ЦОДа и планируемого результата в ИИ-вычислениях. Можно вложить миллиарды в ИИ-ЦОД по уровню TIER4, но если ИИ-модель «провальная», то это просто инфраструктура уровня TIER4. И наоборот, можно сделать ИИ-ЦОД на «минималках», но с хорошим ИИ, который окупится стократно».
Финализируя данный аспект, приходим к выводу, что от Tier пока не отказываются, но уже сейчас его сопровождают доп. условиями, а там, глядишь, появятся и отечественные сертификаты для ИИ-ЦОДов.
ONTEK SPM-M625 и SPM-M1250 – модульные ИБП, которые отдают нагрузке полные 625 и 1250 кВт, а резерв идёт сверх этой мощности.
Обычно резервирование N+1 "съедает" часть номинала: из ИБП на 625 кВА под нагрузку остаётся только 500. В ONTEK резервные модули добавлены в каркас дополнительно: шесть модулей вместо пяти в SPM-M625 и двенадцать вместо десяти в SPM-M1250.
Если модуль откажет, вы не потеряете ни киловатта, а замена "под напряжением" займёт меньше 5 минут. Не нужно покупать и размещать два полноразмерных ИБП по схеме 2N, чтобы спать спокойно.
Дополнительные преимущества:
- Мощность наращивается модулями по 125 кВА по мере роста нагрузки, а КПД 98,5 % снижает счета за электроэнергию и охлаждение.
- ИБП не уходит на байпас даже при +50 °C, когда отказала часть кондиционеров, и не сажает батареи при капризах генератора.
- Испытания проводятся без нагрузочных модулей, а система сама предупреждает об износе вентиляторов и конденсаторов.
Расскажем подробно, что это даёт вашему объекту и бюджету и как выбрать модель.
Читать далее
Реклама: ООО "ОНТЕК",
ИНН:5029279555, ERID: 2SDnjcBxXHW
ИБП для ИИ ЦОД
И теперь, сформулировав общие подходы и требования к инфраструктуре СБЭП для ИИ-ЦОДа, мы можем перейти непосредственно к требованиям к ИБП.
Алексей Лобов (Сайбер Электро) говорит, что «при всех изменениях в охлаждении базовый принцип остаётся прежним: серверы и инженерные системы должны получать стабильное питание. На уровне базовой электрической схемы принципиальной разницы между ИБП для обычного ЦОДа и ИИ-ЦОДа нет: в обоих случаях используются системы двойного преобразования, аккумуляторные батареи, взаимодействие с ДГУ и мониторинг.
Различия возникают, прежде всего, в требованиях к мощности, плотности нагрузки, резервированию и динамике работы оборудования. В обычных серверных стойках нагрузка может составлять 5–15 кВт, тогда как в ИИ-ЦОДе она достигает 40–100 кВт и более на стойку. Поэтому здесь нужны более мощные модульные решения, возможность параллельной работы нескольких ИБП и гибкого наращивания мощности без остановки нагрузки. Важны и общая аккумуляторная инфраструктура, и согласованная работа с дизель-генераторами.
Высокая плотность мощности влияет и на проектирование объекта в целом. Для ИИ-стоек всё чаще требуется жидкостное охлаждение, что меняет компоновку машинного зала и инженерных систем, хотя непосредственно принцип работы ИБП остаётся прежним. Повышаются требования к мониторингу, сервису, наличию запасных частей и документированию системы электроснабжения.
Отдельным вызовом являются резкие скачки энергопотребления при переключении GPU-кластеров из режима ожидания в интенсивные вычисления. ИБП должен быстро реагировать на такие изменения и выдерживать кратковременные перегрузки, не допуская нежелательного перехода на байпас. Это должно учитываться при проектировании системы. В перспективе дополнительные возможности могут дать архитектуры с аккумуляторами непосредственно на шине постоянного тока.
Данные по рынку это подтверждают, спрос постоянно смещается в сторону более мощного и функционального оборудования. На этом фоне очень логично и органично выглядит появление специализированных линеек для ЦОДов (например, модульные CyberData Prime 600–1000 кВА: N+1, параллельная работа до 8 ИБП, общий АКБ-массив, работа с ДГУ).
Если вернуться к развитию рынка в целом, то это многофакторная система, где немаловажную роль играют стоимость и доступность оборудования, сроки поставки GPU, доступность электрических мощностей и финансирования. Заказчикам приходится искать баланс между надёжностью и затратами: с одной стороны, закладывать резерв на рост нагрузки, с другой — не инвестировать в мощности, которые долго останутся невостребованными. Поэтому модульные ИБП становятся одним из способов решать эту задачу: обеспечить необходимый уровень защиты на старте и расширять систему по мере развития ЦОДа».
Михаил Богачук («Абсолютные Решения») обращает внимание на следующие моменты:
· «Обеспечение поддержания оптимального теплового режима компонентов, в том числе посредством специализированной конструкции моточных элементов силового каскада, что позволяет снизить потери более чем на 20% по сравнению с традиционными конструкциями индукторов, — в противном случае повышенный КПД реализован не будет.
· Уменьшение количества точек отказа, реализуемое сокращением числа силовых ключей.
· Увеличение КПД системы при работе с разными уровнями нагрузки также может достигать более 98% за счет интеллектуального алгоритма управления и применения новых схемотехнических решений и современной элементной базы. Например, использование IGBT- транзисторов с использованием карбида кремния в мосте инвертора.
· Предиктивные алгоритмы выявления потенциальных отказов критичных компонентов.
· Выявление причин нештатных ситуаций, подготовка предложений по увеличению надёжности упрощается за счет возможностей расширенного мониторинга и сохранения в системе управления осциллограмм токов и напряжений.
Наличие вышеупомянутого подхода в разработке специализированных решений модульных ИБП для AIDC и будет определять востребованность оборудования ABSolite в условиях роста вычислительных мощностей, связанных с неминуемым дальнейшим развитием технологий ИИ.
Модульные ИБП ABSolite полностью адаптированы к алгоритмам работы GPU-серверов, и проявляется это в нескольких факторах, обеспечивающих успех разработок, в том числе путем обеспечения высокой перегрузочной способности инвертора, который способен осуществлять поддержку 180% импульса мощности нагрузки длительностью до 300 миллисекунд».
Энергетические комплексы Айрупс МИП-Е для бесперебойного электропитания инфраструктуры ИИ

Нагрузки, связанные с искусственным интеллектом, увеличивают плотность энергопотребления в центрах обработки данных с традиционных 10 кВт на стойку до 120 кВт и более, что меняет подход к планированию энергетической инфраструктуры ЦОДа.
Айрупс МИП-Е — это не просто ИБП, это энергетическая платформа, спроектированная под задачи, которые ставит инфраструктура ИИ: сверхвысокая плотность мощности, требование непрерывной доступности, экономическая эффективность и возможность быстрой адаптации к растущим нагрузкам. Для ЦОД, развертывающих кластеры для обучения или инференса ИИ, модульная архитектура МИП-Е обеспечивает необходимый баланс между надежностью, масштабируемостью и совокупной стоимостью владения.
Подробнее
Реклама: ООО «Айсо-энерго»;
ИНН: 7722720392, ERID: 2SDnjcuP8sn
Пожалуй, столь развернутые и исчерпывающие ответы позволяют нам на этом остановиться. Тема в целом раскрыта, и другие мнения уже будут просто дублированием. Очевидно, что и данные компании, и остальные ключевые участники рынка вполне уверенно «держат руку на пульсе», своевременно модифицируя и развивая линейки своих мощных модульных ИБП для ИИ-ЦОДов. Другие топологии сейчас в принципе даже не рассматриваются, вплоть до реальной реализации решений на постоянном токе. Но это уже совсем другая история.
Что мешает?
Если основываться на многочисленных заявлениях высоких лиц, как отраслевых, так и в Правительстве, то российские ИИ-ЦОДы ждет такое быстрое развитие, что трудно даже представить. Возможно. Даже очень вероятно, если в ближайшие годы на Западе не наступит финансовый коллапс и прорыв ИИ-пузыря, а на юго-западе наша страна решит свою глобальную проблему. Это вопрос Прогнозов, к чему мы еще вернемся в отдельном декабрьском/январском Обзоре.
Сейчас же мы хотели завершить данную тему тем, что же сейчас сдерживает строительство ИИ-ЦОДов в России? Алексей Морозов («Парус Электро») обтекаемо переводит вопрос в эволюционный характер: «нужен этап эволюции рынка, чтобы сформировалось устойчивое представление о преимуществах специализированных ЦОДов и выстроились прозрачные экономические преимущества».
Однако возможно есть более формализованные причины? Нет спроса? Спрос есть, но нет финансирования? Неготовность поставщиков оборудования и интеграторов? Нет доступа к нормальному охлаждению? Дефицит инженерного оборудования, вызванный гипер-спросом в Китае и на Западе?
Тимофей Тривайлов («Системотехника») выделяет три основных ограничения: «Первое — доступность электрической мощности: для новых площадок невозможно получить технические условия на подключение к сети с необходимыми параметрами. Второе — нет реализованных проектов ИИ-ЦОДов, в которых ГПУ используются как основной источник электроснабжения. Такая схема требует проработки с учётом резких колебаний нагрузки, о которых мы говорили выше. Здесь важен практический опыт работы всей системы: генерации, накопителей энергии и ИБП. Третье — ограниченный доступ к серверам с графическими ускорителями. Даже при решённых вопросах с площадкой и электроснабжением реализация проекта зависит от возможности поставить необходимое вычислительное оборудование. Поэтому я бы связывал ограничения прежде всего с обеспечением проектов энергией, практикой применения автономной генерации и доступностью GPU-серверов».
Ольга Дроздова (IEK) подтверждает, что мешает «в первую очередь дефицит ИТ-оборудования и рост его стоимости, и здесь не помешала бы поддержка Регулятора. Все остальные инженерные проблемы решаемы».
В целом эти ответы охватывают мнение всех остальных экспертов, и поэтому можно считать, что, действительно, если их проанализировать, то прорисовывается, что особых «внутриотраслевых» проблем, в особенности по оборудованию и его применению, нет. Всё упирается как в возможность организовать строительную площадку и подключить электричество, так и обеспечить доступность современного серверного оборудования. А за ИБП дело не станет! По крайней мере, мы (ITResearch) видим значительные отгрузки сверхмощных (1 МВА+) модульных систем, позволяющих расти российскому рынку ИБП значительно быстрее большинства ИТ-отраслей.






