Программно-определяемое хранение

Обзор решений Software Defined Storage

Лев Левин,

«Бестселлеры IT-рынка»,

внештатный эксперт

Введение

Одной из горячих тем, обсуждаемых сегодня в индустрии хранения, стало программно-определяемое (или программируемое) хранение Software Defined Storage (SDS). Этот термин возник по аналогии с уже употребляющимся несколько лет в сетевой индустрии «программно-определяемыми сетями» Software Defined Networks (SDN), которые с помощью программного обеспечения виртуализуют сетевые ресурсы, и отражает общую тенденцию постепенного внедрения концепции «программно-определяемого дата-центра» (Software Defined Data Center, SDDC) или «программно-определяемой инфраструктуры» (Software Defined Infrastructure, SDI).

Определение Software Defined Storage

Аналитическое агентство IDC определяет SDS как любой стек программ для хранения данных, который может работать на commodity-ресурсах (серверах с процессорами x86, гипервизорах и в облаках). Такой программный стек должен независимо от оборудования с помощью виртуализации дисковых ресурсов обеспечивать полный набор используемых для хранения сервисов хранения (включая дедупликацию, репликацию, thin provisioning и мгновенные снимки), а также «федерализацию» (объединение в виртуальный пул) ресурсов для перемещения данных между этими ресурсами.

Основным стимулом для внедрения SDS является стандартизация компьютерного оборудования, которая уже привела к доминированию платформы x86 на серверном рынке, и стремление корпоративных заказчиков снизить стоимость хранения постоянно растущих объемов данных, в том числе и за счет уменьшения расходов на закупку оборудования СХД.

В системах, реализующих концепцию SDS, отсутствуют какие-либо специально спроектированные аппаратные компоненты (заказные микросхемы ASIC, платы RAID-контроллеров, чипсеты, модули памяти или центральные процессоры). Они полностью состоят из стандартного оборудования, причем для развертывания SDS на таком железе не требуется его специальная кастомизация. Аппаратной платформой подавляющего большинства представленных сегодня решений SDS является сервер x86, к которому для расширения емкости напрямую (а не через сеть) подключены внешние дисковые полки. Как правило, для ускорения доступа к данным в сервере вместе с жесткими дисками устанавливаются твердотельные накопители, выполняющие функции кэш-памяти системы. Для горизонтального масштабирования емкости серверы SDS объединяются в многоузловой кластер по высокоскоростному каналу связи.

Традиционно считалось, что использование систем хранения с прямым подключением к серверу (Direct Attached Storage, DAS) в отличие от сетевых СХД приводит к образованию плохо масштабируемых и изолированных между собой «островков хранения» и в результате к неэффективному расходу дисковых ресурсов и более сложному управлению хранением. Однако применение современных скоростных интерконнектов (например, 10-гигабитного Ethernet и InfiniBand) в сочетании с твердотельной кэш-памятью чтения/записи позволяет построить на базе систем DAS хорошо масштабируемую grid-архитектуру с полностью независимыми узлами хранения (shared nothing), построенными на базе серверов стандартной архитектуры с полками расширения.

Как считают в IDC, хранение SDS постепенно должно стать компонентом любого дата-центра, не только программно-определяемого (SDDC), но и традиционного, поскольку обеспечивает более эффективное и экономичное хранение данных. Особенно активно SDS будет внедряться для хранения неструктурированных данных в виде файлов и объектов.

Использование виртуализации в SDS

Виртуализация ресурсов давно применяется в СХД корпоративного класса для организации логических томов и абстрагирования от оборудования таких сервисов, как мгновенные снимки, репликация, синхронизация. Однако раньше она чаще всего реализовывалась с помощью специализированных микросхем контроллера дискового массива (здесь в качестве примера можно назвать системы корпоративного класса Hitachi VSP G1000 и HP 3Par), а ее внедрение требовало больших затрат времени и высокой квалификации системных администраторов. Кроме того, примерно десять лет назад ряд вендоров активно продвигали решения для виртуализации разнородных систем хранения на уровне сети SAN, но на практике эта концепция не получила широкого применения.

Программно-определяемое хранение в дополнение к традиционной виртуализации ресурсов СХД реализует механизмы самообслуживания (self-service) и использования политики управления, значительно упрощающие администрирование хранения и позволяющие легко и быстро предоставлять нужные данные и дисковую емкость приложениям и пользователям.

Преимущества SDS

С точки зрения аналитического агентства Gartner, внедрение программно-определяемого хранения должно обеспечить следующие результаты, которые невозможно получить при использовании традиционной виртуализации СХД:

• «Оркестровка» (Orchestration): координация предоставления сервисов хранения (независимо от того, где хранятся данные), для обеспечения требований соглашения об обслуживании SLA с помощью программного обеспечения.
• Автоматизация: улучшение эффективности использования ресурсов и продуктивности персонала за счет обработки запросов на сервисы и управления текущими операциями с помощью программного обеспечения.
• Коммодитизация (Commoditization): использование стандартного оборудования (commodity) для уменьшения зависимости от специализированного железа и реализация всех интеллектуальных функций на уровне программного обеспечения.
• Программируемость: общий набор API-интерфейсов для интеграции между собой различных сервисов хранения и вычислений, сетевых и прикладных сервисов.

Применение решений программно-определяемого хранения должно существенно снизить расходы на приобретение СХД по сравнению с традиционными дисковыми массивами SAN/NAS, поскольку для внедрения SDS требуется стандартное серверное оборудование. Кроме того, благодаря использованию архитектуры многоузлового кластера решения SDS легко масштабируются добавлением в конфигурацию нового сервера.

Варианты реализации программно-определяемого хранения

Решения SDS в зависимости от варианта поставки можно разделить на следующие категории:

— пакет программ, который заказчик должен самостоятельно инсталлировать на серверы стандартной архитектуры;

— виртуальные машины, развертываемые с помощью гипервизора VMware vSphere или Microsoft Hyper-V;

— полностью готовые к работе программно-аппаратные комплексы, включающие серверы, дисковые полки расширения и уже инсталлированное и оптимально настроенное программное обеспечение (приставки).

Первый вариант реализации SDS обеспечивает гибкость в выборе конфигурации сервера для развертывания SDS (правда, можно использовать только те модели, которые разработчик SDS включил в список сертифицированного оборудования), второй вариант позволяет быстро внедрить программно-аппаратное хранение, а третий помогает сразу же без тюнинга оборудования получить необходимый уровень производительности и отказоустойчивости хранения, а также техническую поддержку всего решения (как его ПО, так и аппаратной части) от поставщика SDS.

Поставка в виде пакета программ или виртуальной приставки позволяет покупателю использовать уже имеющееся серверное оборудование, однако требует подбора его конфигурации и настройки решения, т. е. достаточно высокой квалификации системного администратора. Применение аппаратной приставки, имеющей оптимальные для программно-определяемого хранения параметры мощности серверов и настройки самого ПО SDS, больше подходит для задач, которым требуется обеспечить стабильно высокую производительность и надежность хранения, в том числе и за счет полной поддержки от поставщика решения.

Примеры реализации

Сейчас на российском рынке представлено несколько SDS от различных вендоров, включая VMware Virtual SAN, HP VirtualStor VSA, EMC ViPR и RedHat Storage Server.

В качестве примера первого варианта реализации можно назвать EMC ViPR, которое устанавливается на виртуализованном с помощью технологий VMware многоузловом кластере серверов стандартной архитектуры. Основная идея ViPR — это абстрагирование физических ресурсов дисковых массивов с помощью виртуализации, что упрощает управление жизненным циклом данных в гетерогенной инфраструктуре систем хранения и разработку новых серверных приложений, обращающихся к этим данным. Системные администраторы могут объединять с помощью коннекторов ViPR разные дисковые массивы в многоуровневые пулы ресурсов хранения, а разработчики приложений — выбирать тот пул, который оптимален для обслуживания их программного кода без учета специфики конкретного дискового массива.

Одной из самых известных виртуальных приставок SDS является HP StoreVirtual Virtual Storage Appliance (VSA) на базе технологий дисковых массивов LeftHand для SAN iSCSI. Пакет VSA запускается как виртуальная машина vSphere или Microsoft Hyper-V и превращает внутренние диски физического сервера или диски подключенных к нему полок расширения в полнофункциональный массив SAN.

К третьему варианту SDS относятся аппаратная приставка EMC Elastic Cloud Storage (ECS) и недавно объявленное решение Dell, использующее ее серверы PowerEdge и ПО SDS компании Nexenta. Приставка EMC ECS, предназначенная для поставщиков облачных сервисов, использует ПО на базе ViPR и обеспечивает хранение блоков данных и объектов в распределенной файловой системе HDFS. Совместное решение Dell и Nexenta состоит из двух двухсокетных серверов, масштабируется до 960 Тбайт и рассчитана на обслуживание инфраструктуры виртуальных десктопов, а также организацию резервного копирования на жесткие диски и развертывание виртуализованной среды VMware.

Как особый вариант решений SDS можно рассматривать VMware Virtual SAN (VSAN), в котором функции SDS интегрированы непосредственно в гипервизор vSphere (стоит отметить, что именно компания VMware первой стала применять термин «программно-определяемое хранение»).

Кроме того, формально к классу SDS относятся разработанные задолго до появления термина «программно-аппаратного хранения» и достаточно хорошо известные на рынке дисковые массивы среднего класса HP LeftHand (StoreVirtual 4000), IBM StorWize и Dell Compellent. Во всех этих трех системах в качестве контроллера массива используются стоечные серверы стандартной архитектуры, к которым подключаются дисковые полки раcширения. Фактически программное обеспечение их контроллеров способно работать на любом сервере стандартной архитектуры, обладающем достаточной мощностью процессоров и объемом оперативной памяти, однако пока только HP поставляет это ПО в виде отдельного продукта (виртуальной приставки HP StoreVirtual VSA)

Параметры решений SDS

Благодаря архитектуре Share Nothing решения SDS горизонтально-масштабируются до нескольких десятков узлов и по максимальной емкости могут превосходить традиционные дисковые массивы корпоративного класса, а также обеспечивают высокий уровень отказоустойчивости благодаря резервированию узлов. Например, решение VMware Virtual SAN масштабируется до 32 узлового серверного кластера с 32 тыс. виртуальных машин и 4,4 Пбайт емкости и обеспечивает производительность чтения/записи до 2 млн IOPS, а виртуальная приставка HP StoreVirtual VSA масштабируется до 16-узловой конфигурации, поддерживая от 4 до 50 Тбайт емкости на один узел.

Пока большинство корпоративных дата-центров присматриваются к программно-определяемому хранению и изучают разные возможные сценарии использования этой технологии. Как считает ряд наблюдателей, успех SDS может дать вторую жизнь технологии DAS, которую последние двадцать лет постепенно вытесняли технологии сетевого хранения SAN/NAS, и существенно изменить рынок СХД, дополнив его сектором относительно дешевых горизонтально хорошо масштабируемых решений на базе стандартного оборудования x86.

Полная электронная версия этой статьи доступна только для подписчиков. Для получения полной электронной версии статьи сейчас Вы можете оформить запрос.