www.team.ru
Поиск
sales@team.ru

Поддержка накопителей NVMe в серверах Intel на базе Xeon Scalable

В предыдущих поколениях серверов (включая серверы на базе Intel Xeon E5-2600v4) использование твердотельных накопителей NVMe 1 было связано с рядом ограничений:

  • не поддерживалась горячая замена накопителей
  • отсутствовала возможность создания загрузочных RAID-массивов
  • не гарантировалась работа индикации накопителей в соответствии со стандартом 2

Это объясняется тем, что управление интерфейсом NVMe осуществлялось не внешним контроллером, как в случае дисков SAS или SATA, а контроллером самого накопителя. Вследствие этого такие события, как извлечение накопителя или возникновение неисправности, не всегда могли корректно обрабатываться системой.

В серверах Intel на базе процессоров Intel Xeon Scalable эти ограничения сняты благодаря новым технологиям Intel VMD и Intel VROC.

Что такое Intel VMD и Intel VROC

Intel VMD (Volume Management Device) – встроенный в процессор Intel Xeon Scalable аппаратный контроллер интерфейса NVMe, обеспечивающий возможность горячей замены накопителей, корректную индикацию статуса, а также работу с RAID-массивами.

Intel VROC (Virtual RAID on CPU) – набор инструментов для накопителей NVMe:

  • Intel VMD в качестве аппаратного контроллера, встроенного в CPU
  • поддержка NVMe RAID со стороны BIOS серверной платы
  • процессорные ядра для вычислений RAID-логики
  • лицензионные ключи Standard или Premium
  • драйверы NVMe RAID для Windows 2016, 2012R2, 10, 7SP2, Red Hat 7.3, SUSE 12SP3
  • утилита RSTe с поддержкой NVMe RAID для управления массивами под Windows

Intel VROC является гибридным RAID-решением, которое включает как аппаратные (Intel VMD), так и программные компоненты. Технология Intel VROC доступна в серверах на платформе Intel.

Использование Intel VMD и Intel VROC проиллюстрируем на конкретном примере: рассмотрим процесс создания загрузочного массива из накопителей NVMe на платформе Intel R1208WF.

Создание загрузочного RAID-массива из накопителей NVMe

В разделе BIOS

Advanced/PCI Configuration/Volume Management Device

необходимо включить Intel VMD на тех портах шины PCIe, к которым подключены накопители NVMe. По умолчанию Intel VMD выключена на всех портах:

На платформе Intel R1208WF накопители NVMe подключаются к портам OCuLink на материнской плате (два порта на каждый процессор) и/или к портам NVMe-адаптера, установленного в слот райзер-карты (Riser1,Slot1/ Riser2,Slot1).

В нашем сервере два накопителя NVMe подключены к портам OcuLink CPU1. Включаем Intel VMD на этих портах:

Переходим в раздел BIOS

Advanced/PCI Configuration/UEFI Option ROM Control

Здесь появился дополнительный RAID-контроллер Intel(R) Virtual RAID on CPU:

Перемещаем на него курсор и заходим в раздел Intel(R) Virtual RAID on CPU:

Пока в сервере не установлен лицензионный ключ, накопители NVMe можно использовать лишь в режиме Pass-Through. Для создания RAID-массивов необходим ключ Standard или Premium.

После установки ключа Standard данный раздел будет выглядеть так:

Переходим здесь в раздел All Intel VMD Controllers:

Выбираем Create RAID Volume и создаем нужный RAID-массив:

Теперь можно перейти к установке на этот RAID-массив операционной системы. В процессе установки потребуются драйверы Intel VROC, которые можно скачать с сайта Intel. Загрузка сервера должна выполняться в режиме UEFI.

Технические характеристики технологии Intel VROC

Процессоры семейства Intel Xeon Scalable имеют три домена (контроллера) шины PCIe, каждый из которых управляет 16 линиями PCIe. Всего в процессоре 48 таких линий.

Каждый домен PCIe процессора является отдельным VMD-контроллером. Поскольку стандартный накопитель с интерфейсом NVMe использует 4 линии PCIe, к одному VMD-контроллеру можно напрямую подключить до 4 накопителей NVMe. Если накопители подключать через NVMe-адаптеры (коммутаторы), к одному VMD-контроллеру можно подключить максимально до 24 накопителей. Такое же ограничение действует на процессор и сервер в целом.

RAID-массив, созданный из накопителей одного VMD-контроллера, может быть загрузочным. Можно создавать RAID-массивы из накопителей, подключенных к разным VMD-контроллерам и даже к разным процессорам в рамках одного сервера, однако загрузочными такие массивы быть не могут.

Основные возможности Intel VROC приведены в следующей таблице:

Поддерживаемые серверные платформы Платформы на базе процессоров Intel Xeon Scalable (на данный момент серверные платформы Intel)
Поддерживаемые операционные системы Windows 2016, Windows 2012 R2, Windows 10, Windows 7 SP2
Red Hat Enterprise Linux 7.3
SUSE Linux Enterprise 12 SP3
Поддерживаемые SSD-накопители с интерфейсом NVMe Все SSD-накопители Intel с интерфейсом NVMe семейств “Data Center” и “Professional”
Накопители отдельных серверных серий других производителей
Поддерживаемые конфигурации До 24 SSD-накопителей на VMD-контроллер, на RAID-массив, на систему
До 12 RAID-массивов на систему
До 2 томов на RAID-массив
До 2 уровней коммутации
Том данных может принадлежать нескольким VMD-контроллерам
Загрузочный том должен принадлежать одному VMD-контроллеру
Лицензионные ключи Без ключа: накопители в режиме Path-Through
Standard: RAID 0/1/10
Premium: RAID 0/1/10/5
Ключевые возможности Горячая замена
LED-индикация статуса накопителя
Нот Spare – автоматическое подключение запасного накопителя взамен неисправного
Auto-Rebuild – автоматическое перестроение массива Уведомления по Email
Защита от потери питания при перестроении массивов RAID 5
Управление «плохими» блоками
Выбор Strip Size (4K, 8K, 16K, 32K, 64K, 128K)

Каждый накопитель NVMe имеет два LED-индикатора: активности и статуса. В следующей таблице приведена информация о состоянии этих индикаторов в зависимости от режима накопителя.

LED-индикатор Режим накопителя Состояние индикатора
Зеленый Питание есть, режим простоя Горит
Питание есть, активность Мигает при выполнении команды
Питание есть, режим энергосбережения Не горит
Питание есть, включается Мигает
Янтарный Исправен Не горит
Режим идентификации (Locate) Мигает с частотой 4Hz
Отказ Горит
Перестроение массива Мигает с частотой 1Hz
 

1 Здесь имеются ввиду только твердотельные накопители форм-фактора 2.5" с интерфейсом PCIe, подключаемые через разъем U.2 (SFF-8639)
2 Международный стандарт "International Blinking Pattern Interpretation (IBPI) standard" (SFF-8489)