Дмитрий Шульгин,
старший эксперт ITResearch
Многопроцессорные серверы стандартной архитектуры (x86) прошли непростой путь в своем развитии. Будучи изначально нацелены на критические нагрузки и поддержку масштабных корпоративных сред, они сталкивались в своем развитии и с RISC-системами, и с растущим сектором кластерных решений, составленных из модулей меньшей мощности. Долгие годы общий тренд в секторе стандартных SMP-серверов (т. е. архитектуры Symmetric Multiprocessing) на мировом рынке имел ровную, местами нисходящую динамику. Кластеры на базе двухпроцессорных решений отбирали на себя все большее число типовых задач, началось бурное развитие blade-решений. А в высоконагруженном секторе не спешили отдавать свою долю RISC- и EPIC-систем.
Однако интенсивный переход к серверной виртуализации открыл новые перспективы для сектора MP (многопроцессорных систем), так как поддержка большого числа виртуальных машин потребовала увеличения числа дополнительных вычислительных потоков и емкостей ОЗУ. Сегмент явно ожил с точки зрения потребления.
С другой стороны, здесь, как и вообще в процессорной области, продолжался интенсивный технологический рост, со скоростями развития, понятно, в соответствии с законом Мура. Так, начался переход к system-on-chip — включения в процессорный модуль все большего числа системных компонентов. Это критически изменило системную архитектуру комплексов с числом сокетов от четырех и более. И изменилась она в целом в направлении если не упрощения, то уж, точно, унификации, сделав различия в топологии межкомпонентных связей в EP- и MP-системах лишь числовыми. Это позволяет на современном этапе демократизировать сектор многосокетовых систем, благо, виртуализация создала для этого экономическую основу.
С другой стороны, тот же технологический рост умножал число ядер и объемов кэш-памяти, повышал их скоростные характеристики; изменилась скорость и связность системы ввода/вывода, расширился функционал обеспечения надежности вычислений. Все это поступательно привело к тому, что старшие MP-системы, по крайней мере на базе Intel, становились все более достойными конкурентами RISC-решениям. Что расширило применимость серверов стандартной архитектуры в составе действительно крупных ЦОДов, под обработку гигантских баз данных или для научных расчетов. Короче говоря, спектр направлений в области MP x86 расширился и вширь, и вглубь.
Ниже мы рассмотрим эти процессы более подробно и взглянем на современную ассортиментную картину, где их проявления можно наблюдать воочию. Сегодня самый консервативный в прошлом сектор рынка совсем не напоминает ту тихую гавань, где из года в год мы видели лишь поступательное переползание одних и тех же шасси с одного поколения системной логики на другое. В настоящем обзоре рассмотрены только SMP-cерверы ведущих зарубежных и отечественных производителей в обычных конструктивах, не включая blade-модулей.
Обсуждение современного состояния архитектуры SMP для платформы x86, как ни странно, мы бы начали с AMD, а не с Intel. Именно AMD, развивая свою линейку процессоров для ПК, первой отказалась от FSB, интегрировала контроллер памяти в ЦПУ и использовала принцип межкомпонентных соединений точка-точка по шине HyperTransport (HT). Произошло это в немыслимой по меркам компьютерной индустрии исторической дали — в 2003 г. И стало провозвестником принципиального изменения топологии межкомпонентных соединений ПК вообще. Но сегодня совершенно особую роль этот момент стал играть именно в многопроцессорных системах. (Откровенно говоря, продолжение использования в данной сфере аббревиатуры SMP — момент, полный условностей, ибо SMP — это системы с разделенной памятью, общей для всех процессоров системы. В случае с HT банки памяти привязаны к конкретному процессору, что намекает на системотехническое сродство подобных решений с альтернативным классом систем — NUMA (Non-Uniform Memory Access), на которых строятся мультипроцессорные решения класса суперкомпьютеров и мэйнфреймов. Там отдельному набору процессоров выделятся своя область ОЗУ. Правда, в нашем случае все области памяти остаются доступными для всех процессоров в системе, но «через голову» выделенного чипа. Так что в какой-то мере современные архитектуры — гибрид классических SMP и NUMA.)
С запуском процессоров с архитектурой Nehalem компания Intel также реализовала соответствующую идеологию — интеграцию компонентов «северного моста» чипсета на кристалл процессора и отказ от FSB в пользу QPI как ответ альянсу HyperTransport.
Самое главное, что изменение архитектуры в виде применения кэш-когерентных шин QPI и HT (технология, позволяющая синхронизировать изменения ячеек в общей разделяемой ОЗУ и во внутреннем кэше каждого процессора) позволила гораздо гибче масштабировать многосокетовые серверы от двух- до четырех- и более сокетов в конфигурации. Опять же компания AMD первой воспользовалась этим свойством, перестроив линейку Opteron следующим образом: существуют две «долгоиграющие» платформы под системы 1P/2P и под 2P/4P, на базе Opteron 4000 и 6000 соответственно.
Ключевые перемены в семействе Intel Xeon стартовали с запуском, как уже было сказано выше, процессоров поколения Nehalem-EX — Xeon 7500 и соответствующего чипсета, ответственного теперь уже только за систему ввода/вывода — 7500 (Boxboro-EX). Процессоры имели по четыре канала QPI, что позволило связать их с I/O и между собой по схеме каждый-с-каждым. Откорректировалась и система взаимодействия с памятью за счет использования специальной технологии Intel 7500 Scalable Memory Buffers. Одним из главных плюсов, которые компания Intel акцентированно отмечала при запуске данного обновления старшей серверной линейки, стала та самая возможность гибкого масштабирования систем от двухсокетовых вариантов до комплексов с 8, 16, а в особо экстремальных случаях — и до 256 сокетов. Двухсокетовые блоки (nodes) объединяются через каналы QPI — получаются четырехпроцессорники. С добавлением дополнительных контроллеров (XNC) происходит расширение системы до восьми чипов в системе. И так далее.
Кроме того, Intel добавила в процессор множество функций RAS (Reliability, Availability and Serviceability), ранее встречавшихся только в SPARC, PowerPC или Itanium. В результате старшие комплексы на Xeon дошли до уровня столкновения с UNIX-системами среднего класса собственной разработки вендоров (проприетарных).
«Восьмиствольные» комплексы на новой базе уже предложили рынку HP (ProLiant DL980) и Sun (Fire 4800). Это важно, так как обе компании являются держателями крупных проприетарных UNIX-платформ: Itanium и SPARC. Есть 8-сокетовое решение и у Fujitsu (Primergy RX600) — также поставщика SPARC-серверов.
А вот третий (или первый?) из ведущих поставщиков «больших» систем — IBM, как водится, стремится к оригинальности. Он по-прежнему поддерживает фирменную SMP-платформу — чипсет X5, на который в новом поколении устанавливаются процессоры Xeon E7. Многосокетовые комплексы в данном случае реализуются за счет объединения двух 4P-нодов из серверов System x3850/x3950. Плюс к этому, применена уникальная технология, позволяющая в полтора раза расширить объем оперативной памяти за счет добавления каждому ноду специального модуля в конструктиве 1U — IBM MAX5.
Так или иначе, механизм внедрения стандартной архитектуры в последний из неосвоенных ранее сегментов — критических вычислений, запущен. Вопрос только в том, насколько быстро он пойдет. Определенное отставание x86 от традиционных решений для этой сферы сохраняется, но разрыв сократился существенно и продолжает сжиматься с каждым поколением Xeon.
Единожды Intel уже предпринимала попытку предложить открытую платформу для данного сегмента — это был процессор Itanium. По факту же это привело к созданию еще одной фирменной архитектуры единого поставщика —HP. С Xeon же, казалось бы, дело совсем иное. Теоретически здесь действительно есть пространство для открытой конкуренции и постепенной демократизации. Скажем, поставлять комплексы подобного размера уже готовы некоторые отечественные компании, например, приведенный в таблицах ETegro (Hyperion RS830). Ранее это было уделом исключительно крупных мировых компаний или совсем уж нишевых игроков.
С другой стороны, и мы это явно видим и в секторе blade-решений, а тем более в нарождающемся секторе интегрированных стеков, — несмотря на использование открытых компонентов в результате все равно получается закрытое, скажем, конструкционно или на уровне системы управления, решение. Это уже происходит в секторе 8P — та же фирменная архитектура IBM X5; HP для DL980 также разработал свой подход — архитектуру PREMA, которая в базисе использует принцип референтного дизайна Intel с применением XNC, но дополнена собственными решениями и подается, естественно, как часть конвергентной инфраструктуры HP.
Массовые системы 4P
Но вернемся к более массовому сектору. С другого конца ценовой шкалы возник новый кластер, это массовые 4P-системы. Старт дала AMD с чипами Opteron 6100 и чипсетом G34 (SR56xx). На ту же платформу позднее стали устанавливаться и новые процессоры микроархитектуры Bulldozer — Opteron 6200. Весной этого года состоялся выход и ответного предложения от Intel — процессоры Xeon E5-4600. От членов семейства E7-4800 их отличает наличие только двух каналов QPI, усечение функционала RAS, ну и, конечно, предельного количества ядер и объев кэша.
Дело тут не только в ценовых моментах. На такой компонентной базе производители могут создавать сверхплотные 4P-решения, увеличивая утилизацию пространства, оптимизируя энергопотребление и проч. Так, с запуском Opteron 6000 стало множиться число «четырехствольников» в стоечных конструктивах высотой 2U. Особенно это заметно по предложениям отечественных компаний. Недавний запуск E5-4600 расширил возможности создания таких серверов и на базе Intel — например, Dell PowerEdge R820. (На момент подготовки еще не были опубликованы окончательные спецификации еще одной подобной модели — HP ProLiant DL560 Gen8, но о скором ее появлении известно.)
Процессоры E5-4600 только выпущены, и число моделей пока минимально, но, полагаем, в скором времени мы увидим его прирост. С другой стороны, появляются и сверхмощные двухпроцессорники. Например, в старшей линейке IBM на базисе X5 предпочтение пока отдано двухсокетовой модели System x3690 X5 c двумя чипами E7-2800.
Вообще, конкуренция между 2P и 4P именно в сегменте Rack 2U вполне актуальна. По большому счету, это один сегмент, просто усложняющийся. И нельзя не отметить, что это вообще основной сектор серверного рынка с точки зрения количественных показателей продаж. Это универсальные решения, и здесь есть место внутренней диверсификации. Полагаем, что в дальнейшем расценивать сектор «E5-2600/4600+Opteron 6000» можно вообще как отдельный кластер рынка, без подразделения на 2P/4P.
Как видно из таблицы, такая номинация как настольные серверы 4P сохранились только у отечественных сборщиков — в нашем случае, у Depo и Kraftway. Из линеек зарубежных лидеров рынка они давно исчезли.
Что же касается «обычных» линеек 4P, ставших уже классическими, типа ProLiant DL580/585 и им подобных, перейдя на новую сверхмощную компонентную базу они сохранили свой базовый облик. Конструктивы от 4U, большое количество слотов расширения PCI-e и относительно небольшая емкость внутренней дисковой корзины, в сравнении с современными рэковыми конструктивами 2U. Последнее объяснимо. Безусловно, решения на базе Xeon 7500/E7 рассчитаны на среды с использованием внешних СХД, в этом смысле пересекаясь с blade-системами и прочими решениями модульного типа. Один только этот фактор четко отстраивает данные решения от стандартных серверов на базе E5. И он, как было указано выше, далеко не единственный.
В целом же очевидно — мультипроцессирование x86 значительно расширило свою применимость: от классических универсальных серверов среднего уровня до секторов HPC и вычислительных сред корпоративного класса. И экспансия явно будет продолжаться.
Полная электронная версия этой статьи доступна только для подписчиков. Для получения полной электронной версии статьи сейчас Вы можете оформить запрос.
