«Кирпичики» для ЦОД

Преимущества и недостатки модульных ИБП

Максим Белоус, Василий Мочар

Этот обзор продолжает большой цикл аналитических материалов, посвященных ключевым технологическим сегментам рынка ИБП. Они готовятся совместно аналитической компанией ITResearch и редакцией «Бестселлеров»/BYTEmag с привлечением экспертов из ведущих компаний – участников рынка ИБП.

Как показала работа над предыдущими двумя обзорами (в которых рассматривались ИБП средней и большой мощности), есть необходимость в том, чтобы конкретизировать особенности технологий и форм-факторов, задающих сферы использования и потребительские свойства ИБП. И особенно это касается трехфазных модульных устройств, которые активно вторгаются в сферу самых мощных ЦОД, демонстрируя, по данным ITResearch, значительные темпы роста в текущем году.

Особенность башенных/моноблочных/классических ИБП состоит в том, что каждый шкаф/фрейм представляет собой законченное устройство, реализованное вокруг единого силового блока. Впрочем, в последние годы даже здесь началось активное размывание границы, поскольку все чаще производители делают силовой блок сборным (например, два блока по 200 кВА компонуются на заводе в единый силовой блок 400 кВА). Но поскольку этот блок стационарный, не подвергается разборке, масштабированию и т.д. прямо на объекте, пользователя такие особенности топологии по большому счету не касаются.

Иное дело модульные ИБП, которые изначально разрабатывались с расчетом на то, что они будут гарантировать свою собственную предельную отказоустойчивость как функционирующей и исполняющей свою задачу системы. Именно по этой причине такие ИБП представляют собой гибкие сборки силовых модулей – по сути, целиком автономных обособленных ИБП, каждый из которых содержит стандартный комплект функциональных узлов, от управляющего процессора и инвертора до электронного байпаса и панели управления. На данный момент на рынке реальная максимальная мощность одного модуля достигает 100 кВА, хотя пока еще даже в серьезных решениях чаще используются модули по 50 кВА и менее.

Плюсы, минусы и осознанный выбор

У модульных ИБП для отдельных моделей ряд производителей предусматривает еще и резервирование критически важных компонентов, а все силовые и батарейные модули допускают замену в «горячем» режиме – таким образом обеспечивается непрерывность работы модульного ИБП в ходе обслуживания либо ремонта отдельных его составляющих. Достигается эта непрерывность за счет того, что каждый силовой модуль функционирует независимо, и в случае его выхода (или штатного вывода) из строя центральная контрольная система перераспределяет нагрузку между оставшимися модулями. Даже с учетом высокого энергопотребления полезной нагрузки традиционное для модульных систем резервирование по схеме N+1 гарантирует стабильность работы всего ИБП в таком режиме.

Поскольку отдельные модули рассматриваемых ИБП полностью независимы, их можно в широких пределах комбинировать, тем самым масштабируя мощность формально (по артикулу производителя) одной и той же системы бесперебойного электропитания в зависимости от потребностей заказчика. Это особенно привлекательно для клиентов, намеренных гибко наращивать мощность полезной нагрузки (например, число стоек в дата-центре) в будущем. Поэтому они с самого начала предпочитают хорошо масштабируемые системы защиты электропитания, снижая тем самым совокупную стоимость владения ими – за счет портативности модульных силовых блоков, автономности их компонентов и простоты расширения однажды установленной конфигурации.

Справедливости ради отметим и недостатки модульных ИБП, которые, как почти всегда в электротехнике, представляют собой обратную сторону их достоинств. Так, большее количество внутренних электрических компонентов и разъемов по сравнению с монолитными «шкафами» увеличивает для модульных систем число потенциальных точек отказа.

Вместе с тем нельзя не признать, что выход из строя одного из модулей не приведет к остановке работы всего ИБП в целом – достаточно будет заменить этот модуль, тогда как отказ какого-то разъема или узла в классическом немодульном устройстве, даже с учетом меньшей его вероятности, наверняка обернется для заказчика куда более сильной головной болью. Именно высокая отказоустойчивость модульных ИБП служит для сторонников этой топологии ключевым аргументом в ее пользу, особенно в случае выбора системы защиты электропитания для ЦОД.

По сути, для растущего дата-центра, который в начале своего пути не нуждается в избыточных мощностях ИБП, применение модульных решений оказывается безальтернативной стратегией – если исходить из соображений эффективности капитальных инвестиций. Однако существует и кардинально другой подход, реализуемый самыми прозорливыми владельцами ЦОД, в полной мере использующими возможности модульных ИБП. Они изначально формируют систему с большим запасом по мощности, что, конечно, несколько более затратно по начальным вложениям, а также снижает КПД системы (впрочем, этим сейчас уже можно пренебречь, поскольку у современных ИБП «плато» оптимального КПД начинается примерно при 50%-ной нагрузке). Что же касается повышенных начальных затрат, то они нивелируются тем, что СБЭП становится более надежной и ремонтопригодной. (Возьмем, например, ситуацию, когда у вас в фрейме на 500 кВА установлены все 10 модулей по 50 кВа, а система в регулярном режиме потребляет всего 300 кВА. И вдруг один из модулей внезапно выходит из строя, и остается всего 450 кВА. Система продолжает работать с достаточным запасом по мощности, обеспечивающим даже пиковую нагрузку, а вы в спокойном режиме занимаетесь поиском и доставкой нового такого же модуля, что в текущей обстановке может быть совсем не тривиальной задачей. А представьте себе, что все было впритык? Вот тогда была бы совсем другая, куда более печальная история.)

В целом выбор модульной системы можно считать достаточно удачным компромиссом между ценой и уровнем КПД, с одной стороны, – и целым рядом таких принципиальных для множества заказчиков параметров, как масштабируемость, компактность решения и его гарантированно высокая надежность с возможностью сравнительно быстрого и недорогого ремонта в случае отказа отдельного узла.

Эпоха перемен и унификация решений

Электротехника в целом и технологии ИБП в частности если и меняются, то заметно более скромными темпами, чем, например, микроэлектроника: так, принципиальная схема источника бесперебойного питания за последние полвека, если не больше, остается практически однотипной. Но перемены все-таки есть – как в части применяемых для создания различных узлов материалов, так и связанные со все большей ролью электронной начинки, отвечающей за контроль и управление работой систем. При этом повсеместно действует такой фактор, как рост доступности технологии, когда решения различных производителей практически перестают отличаться друг от друга.

Многие модели на рынке, по словам Максима Жигаленкова, директора по работе с партнерами «Сайбер Электро», в последние годы впитали лучшие практики лидеров, став принципиально похожими одна на другую: «самодиагностика внутренних компонентов, нагрузочный тест без реальной нагрузки, полностью горячая замена всех компонентов, ротация и высокий КПД даже на низкой нагрузке, избыточное количество вентиляторов и регулируемая скорость работы».

Не видит заметных перемен в конструкции модульных ИБП и Александр Васильев, генеральный директор ONTEK: «Мощностные модули диапазоном от 10 до 60 кВА стали стандартом для большинства производителей, а модули мощностью 100 кВА уже не редкость на рынке. Децентрализованная архитектура модульных ИБП, лишенная единой точки отказа, пока не получила широкого распространения среди производителей, однако такие решения уже воспринимаются как вполне обыденные».

Единственное, что нельзя не отметить, считает Алексей Волков, руководитель направления систем резервирования и распределения питания C3 Tech (входит в С3 Group), это рост мощности самих силовых модулей, что приводит к существенному росту мощности модульного ИБП на ограниченной площади: «Если ранее стандартный шкаф 600х1100мм мог «выдавать» около 96 кВт выходной мощности, то сейчас в такие же габариты можно уместить до 420 кВт. Как правило, бóльшая мощность уже требует дополнительного конструктива для подключений силовых кабелей».

«В ответ на растущие потребности в мощности систем бесперебойного питания, – говорит Алексей Соловьев, технический директор управления по рынку ИТ-решения «Систэм Электрик», – на рынке появляются компактные модульные ИБП мощностью до 1,2 МВт с резервированием N+1 по силовым модулям, в которых силовые модули высотой всего 3U имеют мощность 100 кВт».

Дмитрий Шпанько, технический директор Powercom, видит основным преимуществом модульного ИБП повышенную надежность за счет резервирования или дублирования основных узлов, включая модули управления. Кроме того, поясняет он, помещения для ИБП проектируются как с применением фальшполов с нижним подводом силовых кабелей, так и с установкой навесных лотков. В этом случае компания предусматривает для своих модульных ИБП возможность изменять расположение клеммных терминалов в зависимости от условий эксплуатации. Для заказчика это существенно, так как позволяет не изменять прокладку силовых линий для монтажа. Кроме того, для модульных ИБП новых моделей предусмотрена возможность установки ИБП вплотную к стене, что уменьшает занимаемую им площадь.

Илья Галашин, директор по развитию ГК «Темпесто», находит, что за последние годы конструкция модульных ИБП претерпела лишь незначительные изменения. «Однако китайские производители, – говорит он, – заметно улучшили технические характеристики, приблизившись к уровню премиальных брендов. В то же время все производители стали уделять больше внимания резервированию систем, цепей управления и параллельных соединений».

Основные целевые рынки

Есть ли в России определенные категории заказчиков, которые предпочитают для своих задач модульные ИБП прочим вариантам? Или же все зависит не от отрасли/направления деятельности, а от преимуществ модульных ИБП перед другими их видами и их применимости в каждом отдельном случае?

По мнению И. Галашина, наибольшую популярность модульные ИБП имеют в сфере ИT, тогда как в других сегментах модульность не играет столь значимой роли для заказчиков.

Выбор ИБП чаще зависит от степени предполагаемой нагрузки, считает А. Волков: «Ее определяют важность данных и критичность бизнес-процессов. Также важно учитывать, как быстро заказчик планирует восстановить системы в случае отказа, если такая неприятность случилась. Важна и доступность бюджета: например, в проекте могут рассматриваться схемы резервирования N+1 как альтернатива резервированию 2N. Сейчас у С3 Solutions есть линейка гибридных систем, сочетающих в себе экономику моноблоков и преимущества модульных систем – возможность быстрой замены силового блока. Да, эти системы не обеспечат N+1, но быстрая замена силового блока в течение 15 минут значительно сокращает время, в которое нагрузка остается без защиты электропитания».

А. Соловьев обращает внимание на то, что модульная архитектура ИБП достаточно универсальна – и подходит не только для ИТ, но и для сферы гражданского строительства и промышленности: коммерческих зданий, медицины, промышленных объектов, транспортной отрасли и многих других, где важно обеспечить оборудование бесперебойным электропитанием. «Например, в ИБП Systeme Electric, – говорит эксперт, – все модули – силовые, батарейные, если такие предусмотрены конфигурацией, модули статического байпаса и модули управления – могут меняться силами службы эксплуатации самого заказчика в горячем режиме без отключения нагрузки или перевода ее на «грязное» питание. Поскольку изначально модульные ИБП были адресованы в ИТ-сегмент, то их исполнение в формате серверных шкафов вносит свои требования к установке. Но поскольку часто ИБП большой мощности размещаются в отдельном помещении, то эти вопросы успешно решаются на этапе проектирования».

Дата-центры в качестве регулярных заказчиков модульных ИБП называет А. Васильев, напоминая, однако, о связанной с этим особенности именно российского рынка: «В ЦОД обычно устанавливаются мощные ИБП – 300 кВА и выше. Большинство производителей, представленных в России, как раз и предлагают только модульные решения в этом диапазоне».

Помимо владельцев ЦОД, а также руководителей ИТ-департаментов и прочих лиц, отвечающих за надежность работы ИТ-инфраструктуры – от серверной до коммерческого ЦОД, Д. Шпанько видит заказчиков модульных ИБП и в других, самых разных отраслях: «Я бы сказал, что выбор в пользу модульного ИБП происходит в зависимости от конкретной постановки задачи по обеспечению надежности электропитания, а также от понимания заказчиком топологии ИБП».

При равенстве бюджета, замечает М. Жигаленков, у модульных ИБП нет недостатков по сравнению с моноблочными, поскольку для них характерны быстрая замена или наращивание «на горячую» силами заказчика, сокращение MTTR, полное внутреннее резервирование, унификация запчастей или резервных модулей для всех ИБП на объектах различной мощности, сокращение издержек на ЗИП и ремонт, на CAPEX, унификация регламентов для внутреннего персонала заказчика. «Скорее, есть заказчики, – говорит он, – которые не могут не использовать модульные ИБП, даже несмотря на бюджет: телеком, дата-центры».

Цена вопроса

Несколько лет назад одним из главных недостатков модульных ИБП в сравнении с классическими тяжелыми называлась ощутимо более высокая удельная (в пересчете на условный 1 кВА мощности) цена первых, – на это указывают практически все опрошенные нами эксперты. Но настолько ли этот недостаток критичен в глазах заказчиков?

А. Васильев уточняет, что модульные решения значительно дороже моноблоков лишь при использовании маломощных силовых модулей в диапазоне 10–30 кВА: «Однако при применении силовых модулей мощностью 50–60 кВА разница в цене становится менее выраженной. Стоит отметить, что у многих производителей ИБП мощностью от 100 кВА реализованы именно по модульной архитектуре, причем возможность «горячей» замены силовых модулей часто ограничивается лишь настройками оборудования».

Как замечает А. Соловьев, сейчас на российском рынке в принципе непросто найти моноблочные ИБП, в том числе из-за того, что модульные технологии стали более массовыми – и соответственно более доступными. «В портфеле Systeme Electric, – говорит он, – даже бюджетные модели трехфазных ИБП сегодня выполнены по модульной архитектуре и имеют возможность организации внутреннего резервирования при неполной нагрузке».

«В последнее время «условно» моноблочные ИБП делаются по модульной конструкции силовых модулей, – указывает М. Жигаленков, – по причинам, описанным выше (стоимость ремонта, MTTR замены/обслуживания, потеря мощности при выходе из строя одного компонента не 100%, а 100%/n модулей; унификация ЗИП и поставщика, и покупателей, которым ЗИП нужен на объекте). Отсутствие модульности сохраняется как в электронном байпасе и модуле контроллера, так и в возможностях наращивания (хотя и сейчас есть модели, которые можно приобрести вовсе без модулей – даже один только пустой фрейм)».

«Я не могу сказать, что разница в цене очень уж велика, – заявляет Д. Шпанько. – Более того, делая выбор в пользу модульного ИБП, заказчики, как правило, руководствуются вопросами надежности своих систем. А потери компаний от простоя таких систем, как правило, всегда сильно выше стоимости самих ИБП – и уж тем более кратно превосходят разницу в цене между моноблочными и модульными машинами».

А. Волков также отмечает, что хотя модульные ИБП и дороги, но сегодня значительно выросла и стоимость простоя защищаемого ими оборудования – серверов и СХД заказчика – в случае отключения питания: «Особенно это критично в тех сферах, где доступность данных и сервисов являются приоритетными задачами. Поэтому при выборе ИБП мы уже на начальном этапе настоятельно рекомендуем учитывать материальные последствия от экономии. Незначительная экономия сегодня потенциально может привести к огромным финансовым потерям в будущем. При этом, конечно, не стоит забывать о регламентном профилактическом обслуживании».

Вот и по мнению И. Галашина, хотя модульные ИБП по-прежнему дороже моноблочных, они позволяют снизить затраты при резервировании. Кроме того, их использование обеспечивает эксплуатационную экономию благодаря сокращению среднего времени восстановления, что повышает общую готовность и доступность приложений.

Унификация систем

По солидарному мнению опрошенных нами экспертов, практически все вендоры, присутствующие в сегменте тяжелых ИБП на российском рынке, уже освоили выпуск модульных решений. Но вот вопрос: можно ли говорить об унификации этих систем по классу применимости и функциональным возможностям, которая облегчала бы потенциальным заказчикам сравнение и выбор?

«Сейчас выбор таких систем достаточно широк, но относительно унифицирован, – утверждает А. Волков. – Отличия есть в основном в подходах к резервированию компонентов системы, элементной базе, сервисному обслуживанию и технической поддержке конечных потребителей».

С мнением об определенной степени унификации в сегменте тяжелых систем защиты электропитания согласен И. Галашин: «При выборе модульного ИБП заказчик имеет возможность сравнивать именно аналогичные решения».

У всех модульных ИБП, замечает Д. Шпанько, есть определенный унифицированный набор характеристик: «Но тем не менее у крупных производителей (именно производителей, а не поставщиков) всегда есть свои ключевые особенности, которые дают преимущества в той или иной сфере». Поэтому, чтобы заказчику было проще определиться с выбором, компания старается регулярно проводить обучающие семинары для клиентов.

На определенную унификацию систем по классу применимости и функционалу, которая упрощает заказчикам процесс сравнения и выбора, указывает и А. Васильев. Однако, добавляет он, несмотря на общие тенденции, существуют различия в характеристиках и технических решениях между производителями. Поэтому заказчикам все равно следует внимательно анализировать предложения, чтобы выбрать оптимальный вариант, соответствующий их потребностям.

В условиях подлинно широкого сегодня выбора модульных ИБП, говорит А. Соловьев, на первый план выходят не столько паспортные характеристики устройств (они и в самом деле у всех сравнительно близки), сколько вопросы эксплуатации и поддержки инсталлированной базы: «Например, в ИБП Excelente унифицированы интерфейсы HMI, при этом унификация проводилась совместно с инженерами служб эксплуатации заказчиков, что позволило получить удобный интерфейс для работы с ИБП любой мощности. С точки зрения поддержки также интересен опыт применения технологий дополненной реальности, позволяющий удаленно привлекать инженеров вендора для консультаций, пусконаладки и обслуживания».

При кажущемся равенстве всех модульных систем, указывает М. Жигаленков, есть характеристики, которые могут быть важны именно для тяжелых применений (в промышленности, не ИТ в целом), а также возможности механической кастомизации решения ИБП (пылевлагозащитное исполнение, сейсмостойкость). «Также не все модульные решения на рынке, – добавляет он, – на 100% модульные, и могут сохранять двойное преобразование и батарейную поддержку при выходе из строя контроллера или электронного байпаса, хотя предоставляют возможность менять и наращивать силовые модули «на горячую», без перехода на грязное питание».

Как в России с модулями?

Производство тяжелых ИБП в России понемногу налаживается – а как обстоят дела с модульными? Существует ли круг потенциальных заказчиков именно модульных систем, способный оправдать инвестиции в такое оборудование?

Как уверен Д. Шпанько, инвестиции в надежность системы всегда будут оправданными: «Любой простой крупного предприятия обходится сильно дороже, чем стоимость ИБП, в том числе и модульных».

«Основные потребители модульных ИБП – это ЦОД в общем и телеком-сектор в частности, – утверждает М. Жигаленков. – Специфические сектора экономики, где нужен низкий OPEX и действуют регламенты самостоятельной замены и низкого MTTR, не настолько существенны в рыночном объеме потребителей модульных ИБП, как первые два».

По мнению А. Васильева, хотя круг потенциальных заказчиков модульных систем действительно существует и в последние годы наблюдается рост интереса к ним, особенно в сегменте ЦОД, текущее количество таких заказчиков недостаточно, чтобы оправдать инвестиции в разработку модульных решений: «Коммерческие ЦОД продолжают предпочитать вендоров, которые ушли с российского рынка, и в случае их возврата российским производителям будет трудно конкурировать с ними из-за низкой себестоимости их продукции, достигаемой за счет эффекта масштаба. Этот фактор также ограничивает возможности для увеличения инвестиций в разработку модульных ИБП».

На взгляд И. Галашина, многое зависит от отрасли: «Основным потребителем модульных ИБП остается ИT-сфера, а в части тяжелых модульных ИБП это в первую очередь центры обработки данных. Учитывая рост количества ЦОД, перспективы на этом рынке выглядят весьма обнадеживающе».

Как раз за счет особенностей архитектуры модульных ИБП и можно удовлетворить спрос на сравнительно небольшом отечественном рынке трехфазных ИБП, полагает А. Соловьев: «Модульная архитектура позволяет унифицировать производство – и за счет разного количества силовых модулей получать выходную мощность ИБП, максимально удовлетворяющую потребности проекта».

«Если честно говорить о нашей реальности, модульные ИБП российского производства отсутствуют, – без обиняков заявляет А. Волков. – Есть системы с меткой «Сделано в России», но это лишь условно. Мы прекрасно знаем, что и где сделано. Круг заказчиков таких ИБП достаточно широк, инвестиции могут быть оправданы. Но достижение уровня тех стран, которые уже давно их выпускают, потребует достаточно длительного времени или мощного технологического скачка. Подобное на сегодняшний день невозможно без развития микроэлектроники и производства полупроводников».