Создание RAID через контроллер Adaptec. Тестирование массива RAID6 из жестких дисков на трех поколениях контроллеров Adaptec

Оставьте комментарий 6,950

Всем привет, сегодня мы с вами будем настраивать контроллер adaptec raid 8885, который попал ко мне на тестирование. У меня в компании мы сейчас выбираем RAID контроллер для серверов с SSD дисками. Ранее я уже оттестировал LSI 9361-8i и предоставил не одну статью, как и с чем пришлось столкнуть при его запуске на сервере HP proliant g7. Пришла очередь adaptec 8885, так же очень свежий контроллер. Думаю статей будет несколько, иначе будет просто длиннющий пост, что не удобно.

Задача

Установить в HP ProLiant DL380 G7 adaptec raid 8885
Разметить raid массив из разных модификаций
Установить поверх гипервизор VMware ESXi 5.5
Снять тесты производительности по операция ввода/вывода

Установка adaptec 8885 в HP

Напомню, что HP довольно проприетарный вендор и все в своих серверах производит сам, и не особо дружит, по крайней мере официально с другими вендорами, примером могут служить грабли с установкой в него все того же LSI 9361-8i, я описал метод как их подружить . Когда вы вставите adaptec raid 8885, то в BIOS HP он будет видится как неизвестное устройство, можете смело на это забить, это ни как не повлияет на работу. Единственное, хочу сразу порекомендовать обновить все прошивки на hp сервере , чтобы все было максимально свежее.

Создаем raid массив

Итак двигаемся дальше и создадим raid массив на нашем adaptec raid контроллере . У меня в арсенале 2 SAS диска под RAID-1 зеркало. для системы и 6 ssd дисков для создания RAID-5 до RAID-10 lun. Для нарезки LUN (Logical Unit Number), логических дисков на raid контроллере, нам поможет встроенная bios подобная утилита Adaptec RAID Configuration Utility (ранее называлась Array Configuration Utility (ACU)). Для попадания в RAID Configuration Utility, далее сокращаем до RCU, нужно перезагрузить сервер и дождаться вот такого окна, в котором просто нужно нажать

возможны другие конфигурации. Еще некоторые сервера, например как мой грузились и не показывали данное окно, для этого приходилось при загрузке нажимать F8 , заходить в меню настройки ILO, сразу от туда выходить и только потом виделся нужный экран. Если у вас UEFI BIOS, то вы можете создавать raid массивы из него, за счет hii (uefi human interface infrastructure), если по русски то утилита для людей:)

В конечно счете мы попадаем в утилиту RCU

Disk Utilities

Первым делом давайте зайдем в пункт меню Disk Utilities, тут вам покажут все ваши диски, с их моделями и вендорами, а так же тип подключения. У меня 6 ssd Sansung EVO 850 и два HP sas 600 гб.

Format Disk > форматирование диска
Verify Disk Media > проверка диска на ошибки
Identify Drive

Выбираем допустим форматирование

Подтверждаем форматирование

Начнется форматирование, по времени занимает по разному все зависит от размера raid диска.

Также можно выбрать Ferify Disk Media, начнется проверка HDD на битые сектора.

Выходим из данного меню и рассмотрим настройки самого контроллера Adaptec.

Controller Settings

Заходим в пункт Controller Settings.

Посмотрим основные настройки Controller Configuration. У вас тут будут такие опции:

Crives Write Cache > Включение кэша на дисках, рекомендуется его выключать, так как путь кэширование идет на уровне рейд контроллера и в системе. Есть вероятность потери данных при отключении. В случае ssd можно увеличить скорость, особенно на слабых контроллерах.
Runtime BIOS > Когда включено, то рейд контроллер выступает в роли загрузочного устройства, если выключено то нет.
Automatic Failover > Когда он включено, контроллер автоматически восстанавливает массив, когда диск выходит из строя и заменяется новым. При отключении, массив должен быть восстановлен вручную.
Array Backgrounf Consistency Check > Когда он включено, контроллер постоянно проверяет избыточный массив, целостность, что кушает ресурсы. Обратите внимание, что там может быть значительное снижение производительности. По умолчанию отключена.
Device based BBS Support > При включении в системах, которые поддерживают BBS, контроллер выступает в качестве загрузочного устройства в BIOS.
SATA Native Command QUeuing > Отключите эту функцию, если вы хотите, прикрепить более 48 дисков SATA II. Доступно только для дисков SATA II
Physical Drives Displey during POST > Когда включено, подключенные диски будут отображаться во время загрузки сервера системы Power On Self Test (POST). Отображение дисков будет несколько секунд. По умолчанию отключена
Alarm Control > Когда он включен, звучит сигнал тревоги. По умолчанию включено. Примечание - Когда сигнализация выключена (отключена), он автоматически включается снова после перезагрузки.
Default Background Task Priority > Устанавливает приоритет по умолчанию для фоновых задач на контроллере (например, как создаете новые логические диски) до высокого, Среднего или Низкого. По умолчанию Высокий.
Примечание: Этот параметр применяется к новым задачам. Это не влияет на настоящее время запущенные
Backplane Mode > При установке на Auto, контроллер adaptec автоматически определяет тип сигнала объединительной платы: I2C или SGPIO. Чтобы установить режим объединительной платы явным образом, нужно выбрать SGPIO, I2C, или Disabled. По умолчанию Авто.
Selectable Performance Mode > При установке Dynamic, критерии эффективности регулируется автоматически на основе использования контроллера, уровня RAID, и типа диска. При установке на OLTP / DB, критерий эффективности оптимизирован для ориентированных на транзакции приложений, таких как ввод данных и поиска. При установке на big Block bupass, то DRAM write cache начинает считаться из размера IO записи; Критерии эффективности оптимизирован для обслуживания веб-страниц, работу с файлами, и поиск данных. При установке на User Defined, вам будет предложено использовать инструменты OS для установки индивидуальных параметров (обратитесь в службу поддержки Adaptec для получения дополнительной информации). По умолчанию Динамический

Controller Mode > Контроллеры Adaptec Series 7 и 8 серии: При установке режима RAID: Expose RAW все RAID функции контроллера включены. Установленные диски без Adaptec мета-данных будут видеться в операционной системе, как RAW Pass Through устройства (аналогично JBOD-массивам на устаревших контроллерах Adaptec).При установке на RAID: hide RAW режим, все RAID функции контроллера включены, но RAW устройства не обнаруживаются в операционной системе. При установке на HBA режим , установленные диски определяться как RAW устройства. Цель этого режима, дать возможность контроллеру adaptec работать с HBA. Изменение в режиме HBA разрешается только если нет подсоединенных дисков Adaptec meta-data, в том числе и горячий запасны. Неинициализированные диски совместимы с любыми HBA и могут быть использованы с дисками SATA интерфейсом на материнской плате.
При установке режима Auto Volume, установленные диски без Adaptec мета-данных, но с раздела OS, появятся в операционной системе в формате RAW устройства. Установленные диски без Adaptec мета-данных и без разделов ОС, автоматически настраиваются, как простые тома. В автоматическом режиме Volume, вы можете создать максимум 128 простых тома; Никакие другие типы RAID не поддерживаются. Автоматический режим позволяет кэширование
При установке Simple Volume, вы можете создать только простые тома (максимум 128 томов); Никакие другие типы RAID не поддерживаются.
Примечание: Прежде чем вы сможете изменить в режиме автоматического или Volume Simple Volume режиме, вы должны удалить существующие RAID массивы, maxCache Контейнеры и горячего резерва диски (если таковые имеются). По умолчанию RAID: Expose RAW режим.

Advanced Configuration

В Advanced Configuration режиме у adaptec raid controllers можно настроить вот такие значения:

Time Zone > Часовой пояс места, в котором находится система. Время настройки управления мощностью осуществляются на основе установленной временной зоны. По умолчанию, он установлен в 00:00. Допустимый диапазон для настройки часовых поясов -12: 00 до +12: 00
Stay Awake Start > Время, которое система должна работать в режиме полной мощности, независимо от других параметров управления питанием, ежедневно. По умолчанию он установлен в 00:00. Допустимый диапазон с 00:00 до 23:59.

Управление массивами RAID Adaptec 6405 включает в себя не только создание и удаление массивов, но и задачи, связанные с обслуживанием вышедших из строя дисков или с их плановой заменой. В этой статье я рассмотрю повседневные задачи серверного администратора.

Если вам интересны raid-технологии и задачи администрирования raid-контроллеров, рекомендую обратиться к рубрике на моем блоге.

Создание массива RAID Adaptec 6405

При загрузке сервера нажимаем CTRL+A и попадаем в меню контроллера. Нам нужно выбрать Array Configuration Utility :

Сначала необходимо зайти в пункт меню Initialize Drives , чтобы сообщить контроллеру какие диски будут использоваться.

Пробелом нужно отметить каждый диск:

После того как диски выбраны, нажимаем Enter и получаем предупреждение:

В итоге у меня поучились следующие настройки:

Примечание: пару слов о разделах объемом более 2ТБ — если итоговый размер массива меньше этого значения, то беспокоиться не стоит. Если объем больше, то ваша система откажется видеть все, что больше примерно 2ТБ. Это связано с MBR-разметкой, которая не позволяет разметить более 2ТБ. Выход — использовать GPT-разметку, но в таком случае ваша материнская плата должна поддерживать UEFI, чего на старых материнках нет. Чтобы это обойти, можно назначить массиву меньший объем, а потом оставшийся объем использовать для другого массива RAID такого же типа .

Снова получаем предупреждение об использовании функции отложенной записи.

Замена вышедшего из строя диска

На данном этапе я постараюсь смоделировать выход из строя одного из жестких дисков массива. Поскольку ранее я создал массив типа Raid1, он позволяет сохранить работоспособность при поломке половины дисков. В моем случае половина — это 1 диск (всего их два).

Порядок действий:

я отключаю полностью сервер;
достаю один из дисков и в соседнюю корзину монтирую другой.

В идеале после этого массив должен находиться в деградированном состоянии, но продолжать работать. После подключения третьего диска он не должен автоматически подцепиться к массиву. Во-первых, потому что он не инициализирован; во-вторых, потому что он не был указан как hotspare (диск горячего резерва) при создании массива.

Итак, приступим.

После включения сервера, в bios получаем следующие предупреждения:

В принципе так оно и должно быть, ведь одного диска в массиве не стало. Кстати, после «пропажи» диска из массива, контроллер стал очень громко и мерзко пищать и ко мне даже стали заходить коллеги и предупреждать о странном шуме из серверной.

Заходим в утилиту управления массивами, смотрим состояние массива в Manage Arrays :

Как видно, одного диска в массиве нет, сам массив находится в деградированном состоянии. Все как и предполагалось.

После этого нам надо инициализировать новый диск. На скриншоте вверху было видно, что в действующем массиве используется один диск в слоте 31, значит новый диск будет в каком-либо другом. Заходим в пункт меню Initialize Drives , инициализируем диск в слоте 29:

Получаем предупреждение (по-хорошему, к этому моменту у вас уже должны быть бэкапы всей актуальной информации, а сервер выведен на плановое обслуживание, если конечно это возможно):

Теперь нам необходимо сообщить контроллеру, что он должен использовать новый диск, чтобы включить его в массив вместо вышедшего из строя. Сделать это нужно через пункт меню Manage Arrays — нажимаем Enter, стрелочками вверх/вниз выделяем нужный массив (если их несколько), нажимаем CTRL+S и попадаем на страницу управления Global Hotspare :

Выбрать вы можете только диски, которые не находятся в данный момент ни в каких массивах. Пробелом выделяем нужный диск:

Нажимаем Enter. Выйдет диалоговое окно подтверждения изменения, вводим Y . Поскольку диск мы сделали диском горячей замены, то контроллер должен автоматически сделать его частью массива и сразу же начать процесс ребилда (rebuild array ), проверить это можно все также из пункта меню Manage Arrays :

С этого момента вы можете загружать сервер в нормальном режиме и работать дальше. Полный ребилд представляет из себя достаточно длительный процесс и зависит от множества параметров — производительности контроллера/дисков, текущей нагрузки на контроллер/диски и др. Можно сделать вывод, что скорость ребилда значительно изменится в большую сторону, если вы начнете использовать массив сразу после добавления диска. Если есть возможность, лучше дать контроллеру время спокойно завершить перестройку массива и уже после этого давать на него реальную нагрузку(это особенно касается массивов RAID5).

Процесс ребилда физически будет сопровождаться миганием красного светодиода на корзине того диска, который был только что добавлен в массив.

В утилите Adaptec Storage Manager перестроение массива выглядит таким образом:

Кстати, утилита запущена с того же самого сервера. На этом обзор задач управления массивами RAID Adaptec 6405 завершен.

Если вам помогла статья, оставляйте комментарии, делитесь своим опытом.

Как ни странно, но на сегодняшний день RAID стеки это частные решения, не подчиняющиеся стандартам. Можно снять все физические диски с созданными на них RAID томами, например, с контроллера Adaptec 6805 и перенести их на контроллер 8885 и тома будут видны. Но если попробовать перенести таким образом тома на контроллер другого производителя, то чуда не случится, и ни будет никакой возможности увидеть данные и эти RAID тома. Почему так происходит? Потому что контроллер другого производителя поддерживает свой собственный стек, не совместимый со стеком Adaptec.

Каждый RAID том представляется операционной системе компьютера как «SCSI диск», который и будет виден как отдельный объект в дисковых утилитах типа disk manager.Выглядит это так.

Таким образом, в менеджере дисков можно увидеть 4 виртуальных диска: RAID0, RAID1 и два диска RAID5.

При создании томов работает каждый уровень.

Задача уровня физических дисков – создать специальную область на дисках, где будет храниться информация о создаваемых томах. Такая область называется областью метаданных и представляет из себя сложный контейнер хранения, где хранится служебная информация. В эту область имеет доступ только операционная система контроллера и больше никто. В стеке Adaptec этот процесс создания служебной области называется – инициализация и выполняется через команду – initialize .

В RAID контроллерах, которые поддерживают режим HBA, есть и обратная команда – deinitialize (это контроллеры 7 и 8 серии). Эта команда полностью удаляет с физического диска такую структуру данных и переводит данный диск в режим HBA. Т.е., для того чтобы контроллер 7 или 8 серии начал работать как обычный HBA на нем достаточно деинициализировать все диски. Тогда они все будут видны в утилите центральной операционной системы типа DISK MANAGER и никакие другие операции не требуются.

На физическом уровне выполняется и другая известная функция, называемая – coercion . В стеке Adaptec она производится одновременно с initialize. Эта функция немного «подрезает» емкость жесткого диска. Дело в том, что диски одной и той же категории по емкости от разных производителей все же имеют неодинаковую емкость. Чтобы диск одного производителя можно было в будущем в случае необходимости заменить диском другого производителя и выполняется функция coercion. Отрезанная емкость просто навсегда “теряется” и никак не используется.

На физическом уровне возможно размещение различных сервисных функций – проверка диска деструктивным или недеструктивным методом, форматирование, полное стирание данных, заполнение диска нулями и т.д.

Логический уровень необходим по двум причинам:

Во-первых, он значительно уменьшает дискретность емкостей, которые Вы выбираете для создания томов. Это делается через возможность создавать несколько логических дисков (просто отрезая часть емкости) на одном физическом или создавать один логический диск с помощью двух или более физических. При этом емкости различных физических будут просто складываться. Сначала данными будет заполняться одна область одного физического диска, потом другая другого физического диска и т.д. Такой метод объединения дисков называется Chain (в некоторых других стеках используется слово Span ).

Во-вторых, при создании таких объектов информация о них попадает в метаданные, и они перестают быть привязанными к физическим координатам. После этого диски можно переносить с одного порта контроллера на другой, переносить тома с одного контроллера на другой и это будет по-прежнему замечательно работать.

Дальше наступает очередь уровня RAID . Как правило, современные стеки имеют два подуровня на этом уровне. На каждом подуровне располагаются элементарные RAID, такие как: chain или span (это не совсем RAID, это просто “суммирование” емкостей с разных дисков), RAID0, RAID1, RAID1E, RAID5, RAID6 и т.д.

Самый нижний подуровень принимает логические диски, например, LD1, LD2, LD3, как на рисунке, и «выпекает» из них том RAID5. То же самое происходит и с LD4, LD5, LD6. Из них получаем второй RAID5. Два RAID5 тома подаются на еще более высокий уровень, где к ним применяют функцию RAID0. На выходе мы получаем комплексный том, называемый RAID50 (где 5 означает тип RAID, используемый на нижнем подуровне, а 0 – тип функции RAID с верхнего уровня). Единственное, чего не хватает в определении – сколько RAID5 (в данном случае 2) было использовано для создания RAID50. В стеке Adaptec это называется second level device. Этот параметр будет нужен, если Вы будете создавать сложные тома типа 50 или 60.

Самый верхний уровень нужен для того, чтобы предоставить такой виртуальный объект для доступа операционной системы. При передаче на этот уровень предлагается ряд сервисных функций. Самые важные в стеке Adaptec две – build и clear.

Clear записывает на весь новый том, который передается ОС, нули.
Build «строит» новый том. Например, если это RAID1, то все содержимое первого контейнера скопируется в содержимое второго. И так для всех контейнеров.

На рисунке - Виртуальный контейнер типа RAID1. Операция build.

Если у Вас новые диски, с фабрики, то в их секторах записаны нули. Поэтому результат действия обеих функций будет одинаковым.

Отличие между SimpleVolume и HBA режимом.

Эти два режима крайне похожи друг на друга. Оба могут использоваться для создания Software RAID решений.

При работе диска в HBA режиме на нем не создаются метаданные. И нет «подрезания» ёмкости функцией coercion. Это может вызвать проблему при необходимости замены диска на диск другого производителя. Диск напрямую передаётся операционной системе. При этом кэш контроллера с ним работать не будет!

В случае создания Simple Volume через конфигурацию томов, на диске создается область метаданных, “подрезается” емкость функцией coertion. Далее через утилиту конфигурации создается Simple Volume том с использованием всей свободной емкости диска. И после этого данный объект передается в работу центральной операционной системе.

Сегодня стеки RAID контроллеров постоянно совершенствуются. Компания Adaptec в своей функции MaxCache plus устанавливала еще один уровень в стек, так называемый уровень tier, c подуровнями. Это позволяло взять один RAID5 том, созданный на SSD дисках, и другой том, например, RAID60, созданный на дисках SATA с 7200 rpm и собрать из них комплексный, виртуальный том, где наиболее востребованные данные хранились на RAID5, а наименее востребованные на RAID60. При этом тома можно было брать с разных контроллеров. Сегодня эта функция не поддерживается в силу перехода таких возможностей в серверные операционные системы. Естественно, стек контроллеров, как виртуализационный механизм, не стоит на месте и постоянно совершенствуется и на уровне виртуализации и на уровне основных и сервисных функции.

Устройство современного RAID контроллера.

Современный RAID контроллер представляет из себя информационную систему (упрощенно – компьютер), которая в силу выполнения своих основных функций: создания виртуального контейнера, размещения и обработки информации в контейнерах (по сути, ЧТЕНИЕМ – ЗАПИСЬЮ информации) обменивается данными с двумя другими типами информационных систем:
1. C операционной системой;
2. С HDD или SSD дисками.

С точки зрения внутренней архитектуры, современный RAID контроллер представляет из себя следующий набор основных подсистем:

Микросхема RoC (RAIDonChip);
Оперативная память;
Управление “защитой” кэш памяти (как правило, это отдельная дочерняя плата, но в последних реализациях для 8-ой серии контроллеров Adaptec этот модуль встроен в микросхему RoC);
Суперконденсатор, как источник питания для модуля защиты кэш, используется в случае пропадания основного питания;
Flash-память и nvSRAM (память, которая не теряет информацию при выключении питания);
Разъемы SAS, где каждый отдельный физический разъем собран по принципу четыре порта SAS в одном физическом разъеме;
Разъем PCI-E.

Таблица - Основные подсистемы RAID контроллера.

Основные функции современных RAID контроллеров Adaptec.

Поддержка режима HBA.

Мы уже рассмотрели выше, какие модели RAID контроллеров поддерживают режим HBA. Важно отметить, что это делается независимо для каждого диска. Т.е., на контроллере, если вы не будете инициализировать часть дисков на физическом уровне, они автоматически попадут в программу типа «disk manager» и будут там видны и доступны для работы с ними. Вы можете одну часть таких дисков в режиме HBA использовать как одиночные диски, а другую часть использовать для создания software RAID средствами операционной системы. Проинициализированные диски будут использоваться для создания RAID томов средствами RAID контроллера.

Гибридные тома.

На последних версиях прошивки контроллер Adaptec автоматически создает Hybrid RAID-массив, когда вы создаете RAID 1/10 из одинакового количества SSD и HDD (но в старых прошивках было важно, чтобы в RAID1 парах SSD диск стоял «мастером», а HDD диск «слейвом»). Если Вы не знаете, как это проверить – обратитесь с службу тех. поддержки Adaptec. Контроллер Adaptec делает запись одновременно на HDD и SSD. В режиме гибридного тома чтение идет только с SSD! (для тома из двух HDD дисков при превышении некоторого порога операций ввода-вывода чтение происходит с двух дисков. В этом главное отличие гибридного режима RAID1/10). Результат – надежный массив с отличной производительностью чтения. Чтение как у одиночного SSD диска. Это на несколько порядков выше чему у HDD. Функция стандартно поставляется со всеми контроллерами Adaptec Series 2, 5,6, 7, 8.

Поддержка типов томов, являющихся заменой RAID5.

Надеюсь, вы хорошо представляете себе контейнер RAID5 - это достаточно классическое решение.

Красным показан контейнер хранения информации, созданный RAID контроллером. Это контейнер типа RAID5. Сам том RAID5 состоит из большого количества таких виртуальных контейнеров, сложенных в некоторую «пачку». Контейнер RAID5 состоит из набора секторов отдельных физических дисков. Особенность контейнера RAID5 заключается в том, что он может «пережить» проблемы в ряде контейнеров жестких дисков, из которых он состоит, т.е., секторы жестких дисков, которые входят в состав RAID5 контейнера, теряют свою информацию, но сам RAID5 контейнер ее хранит. Это происходит до определенного предела. При некотором количестве «испорченных» секторов сам RAID5 контейнер уже не сможет гарантировать 100% хранение информации. Из-за перехода с технологии SCSI на технологию SAS предлагаемое базовое качество хранения информации контейнером RAID5 очень сильно ухудшилось, буквально, на несколько порядков.

Произошло это из-за ряда объективных причин:
1. Из-за поддержки SATA дисков, особенно десктопного класса, качество хранения информации в контейнере типа «сектор диска» заметно упало (SCSI контроллеры поддерживали только высококачественные SCSI диски);
2. Количество дисков на контроллере выросло многократно (2х канальный SCSI контроллер – максимум 26 дисков, с учетом производительности 8 -10 (по 4-5 на канал));
3. Емкость дисков выросла значительно. Это значит, что в том RAID 5 может попадать намного больше контейнеров RAID5 (мах. Емкость SCSI дисков 400GB, максимальная емкость современного SATA жесткого диска – 8 ТБ).

Все это увеличивает вероятность возникновения проблем в одном контейнере RAID5, что значительно уменьшает вероятность сохранения информации в томе RAID5. По этой причине в современные стеки RAID контроллеров добавлены решения, которые позволяют исключить использование RAID5. Это RAID1E, RAID5EE и RAID6.

Раньше единственной альтернативой RAID5 был RAID10. Поддержка RAID 10, естественно, сохранилась.

Варианты замены RAID5:

Bad Stripe

Раньше, если даже один контейнер контроллера (страйп) терял информацию или не мог гарантировать ее сохранность, это приводило к ситуации перевода всего тома в режим offline со стороны RAID контроллера (остановка доступа, буквально, означала – контроллер не может гарантировать 100% целостность пользовательских данных на томе).

Современный контроллер “отрабатывает” такую ситуацию по-другому:
1. Доступ к тому не останавливается;
2. На томе выставляется специальный маркер “bad stripe”, которые означает, что в RAID томе есть специальные контейнеры, которые потеряли информацию;
3. О таких «испорченных контейнерах» сообщается операционной системе, чтобы она могла оценить возможные меры по предотвращению потери информации или ее восстановлению.

Маркер bad stripe невозможно удалить с тома. Можно только такой том удалить и создать заново. Появление тома с флагом «bad stripe» говорит о СЕРЬЕЗНЫХ ошибках или проблемах на этапе проектирования системы хранения или на этапе ее эксплуатации. Как правило, за такой ситуацией стоит серьезная некомпетентность проектировщика или системного администратора.

Основной источник проблем такого рода - неправильно спроектированный RAID5.

Некоторые реализации RAID 5 (например, RAID5 на десктопных дисках) запрещены для томов с пользовательскими данными. Требуется, как минимум, RAID5 + Hot Spare, что не имеет смысла при наличии RAID6. Получается, что там, где надо было создать RAID6, был создан RAID5, что через несколько лет эксплуатации привело к появлению маркера BAD STRIPE.

SSD кэширование

Функция SSD кэширования является одной из самых востребованных функций для оптимизации производительности RAID томов мощных систем хранения с большим количеством пользователей без значительного увлечения стоимости, количества юнитов решения, без потери емкости системы хранения и обеспечения оптимального энергопотребления.

Для применения SSD кэширования на запись, следует убедиться в выполнении двух условий:
1. Приложение работает в режиме «случайного чтения»;
2. Запросы к данным имеют неравномерную природу – есть контейнеры уровня RAID, к которым обращаются чаще, чтобы считать оттуда данные, а есть те, к которым обращения идут реже.

Надо отметить, что чем больше пользователей у системы, тем вероятнее, что запросы к отдельным контейнерам примут форму стандартного статистического распределения. По параметру «количество запросов в единицу времени» можно выделить условно «горячие данные» (количество обращений к ним будет больше заданного параметра) и «холодные данные» (количество обращений к ним меньше заданного параметра).

Работа SSD кэш на чтение заключается в копировании «горячих данных» на SSD диски и дальнейшем чтении с SSD, что ускоряет процесс в разы. Поскольку это копирование, то кэш на чтение имеет естественную защиту, если SSD диск, формирующий область SSD кэш, выходит из строя, это приводит только лишь к потере производительности, но никак не к потере данных.

Основные настройки функции SSD кэширования для контроллеров 7Q, 8Q:
1. Прежде всего убедиться, есть ли у Вас «горячие данные» и какой они имеют размер. Лучше всего это сделать экспериментально, поместив достаточно большой SSD диск в область кэша и сконфигурировав его в режиме Simple Volume. Такую работу могут сделать для Вас компании-интеграторы. Примерно через неделю через функцию управления можно снять статистику SSD кэширования. Она покажет есть ли у Вас «горячие данные» и какой объем они занимают.
2. К данному объему желательно добавить10-50 % емкости и на основании этих данных настроить Вашу схему кэширования на случай увеличения объема «горячих данных» в будущем, если такая тенденция есть.

Настройки позволяют от емкости ваших SSD дисков «отрезать» нужную емкость, забрать ее в RAID том нужного типа, а оставшуюся емкость можно перевести в обычный RAID том.

Далее следует оценить, есть ли смысл использовать SSD кэш на запись. Как правило, интернет приложения работают на чтение. Кэш на запись, в основном, используется как дополнение к кэшу на чтение, если приложение помимо чтения использует и запись. И в случае использования кэша на запись требуется обеспечить защиту кэша. Если что-то случается с областью кэша, то данные, помещенные туда при кэшировании записи, будут потеряны. Для защиты достаточно использовать RAID том, дающий избыточность по дискам, например, RAID1.

Возможные режимы конфигурации SSD кэш области.

Для отдельных томов на контроллере можно независимо включать и выключать SSD кэш на чтение и на запись в зависимости от потребностей и типов приложений, работающих с каждым томом.

Поддержка uEFI.

Все контроллеры и HBA текущей линейки продуктов Adaptec поддерживают режим uEFI биоса материнских плат. Переход с MBR на uEFI позволил, например, создавать системные и загрузочные тома больше 2TB, что было невозможным на платах с MBR BIOS (отметим, что все продукты Adaptec полностью поддерживают тома >2TB, со стороны контроллеров и HBA этой проблемы не существует). Есть много других преимуществ использования uEFI режима. Например, при поддержке дисков с размером сектора 4K. Все продукты Adaptec текущей линейки поддерживают диски с сектором 4К, кроме 6-ой серии контроллеров.

Важно помнить, что если материнская плата использует режим MBR, то утилита конфигурации контроллера вызывается через Cntrl +A.

На рисунке стандартная утилита конфигурации Adaptec, вызываемая через комбинацию клавиш Cntrl +A.

В случае режима uEFI конфигуратор контроллеров и HBA интегрируется в BIOS материнской платы. Эту утилиту легко найти по строчкам, содержащим слово «Adaptec» или «PMC». И, как видно на примере ниже, uEFI утилита имеет более расширенный функционал, чем утилита, вызываемая через Cntrl + A.

Функции Hot Spare.
Hot Spare диск выполняет роль пассивного элемента RAID тома, и «забирается» в RAID том, если с каким-то из дисков в составе тома что-то случилось, и он больше недоступен для выполнения своей работы. HOT SPARE называется диск, который установлен на контроллер, раскручен и назначен к одному или нескольким томам.

Относительно последней части определения HOT SPARE, можно создать 3 вида дисков:

Hot Spare диски используются в стеке Аdaptеc для ручного «ремонта» томов, у которых по разным причинам вышел из строя один диск. Например, Ваш RAID5 том потерял один диск и перешел в состояние «degraded». Вы вставляете новый диск вместо старого или в любой другой свободный слот, нажимаете функцию rescan и теперь видите новый диск на уровне физических дисков стека. Далее – объявляете его как HOT SPARE (неважно какого типа, например, Global Hot Spare) и ждете, когда это диск на 100% «встроится» в том. Том переходит в состояние – Optimal. После этого, Вы выбираете команду – delete hot spare. Эта команда снимает статус HOT SPARE с данного диска, и он становится полноценным участником данного RAID тома.

Функция Power Management.

RAID тома работают по-разному. Например, тома, созданные для резервного копирования данных, могут использоваться для перемещения данных, к примеру, два – три дня за месяц. Возникает вопрос: насколько хорошо подавать питание на жесткие диски и держать диски раскрученными, если фактически все оставшееся время они не используются?

Решением этого вопроса занимается функция power management. Ее философия – если диски не используются, их вращение можно замедлить (если такая функция поддерживается дисками), а потом полностью остановить и держать, пока они не понадобятся, в выключенном состоянии. Настройки данной функции крайне простые.

Сначала целиком на контроллер задается время по дням недели, когда эта функция активирована, а когда нет. Эта настройка привязана к работе типичной компании. Задаются параметры введения в работу внутренних и внешних дисков – попарно, по три, по четыре и т.д., чтобы распределить нагрузку на блоки питания. Кроме этого, задаются три значения таймера. По истечении первого, если нет операций ввода-вывода на диски данного тома, то эти диски перейдут в состояние «stand by», т.е. уменьшат свои обороты на 50%. Не все диски поддерживают этот режим, если он не поддерживается, то с диском ничего происходить не будет. По истечении второго таймера диски полностью остановятся и перейдут в состояние «power off». Третий таймер используется для периодической проверки дисков, которые выключились надолго. Контроллер включает диски, проводит их недеструктивную проверку и, если все ОК, то переводит их снова в «power off» состояние.

После этих настроек Вы можете активировать power management схему для каждого тома, где это будет полезным. Такие тома в системе управления будут помечаться зеленым цветом. Максимум преимуществ данная функция дает при использовании в центрах обработки данных, позволяя не только прямую экономию энергии за счет остановки дисков, но и вспомогательную экономию за счет уменьшения оборотов вентиляторов, обдувающих диски, когда последние переводятся в выключенное состояние.

Управление системами хранения Adaptec.

Утилиты управления, которые входят в пакет Max View Storage Manager (MSM) построены на самых передовых стандартах и используют самые последние тенденции в совершенствовании принципов и улучшении эффективности управления. Поэтому мы легко можем использовать Adaptec Max View Storage Manager как базовую модель, чтобы посмотреть на основные функции и методы в области управления системами хранения. В качестве основного элемента управления используется RAID контроллер, который может обмениваться служебной информацией с дисками, экспандерами и корзинами и, таким образом, поддерживать функции управления для всей подсистемы хранения в целом.

Основные возможности современных систем управления системами хранения:

В качестве клиентского приложения используется стандартный WEB браузер.
CIM провайдер для работы в виртуальных средах. CIM провайдер из пакета MSM позволяет осуществлять полное управление RAID контроллером из-под любой виртуальной среды. Например, при использовании vmware.
Использование CLI (command line interface) утилит. В пакете MSМ, помимо графической утилиты управления, в качестве клиентской части которой используется WEB браузер, присутствует CLI утилита – ARCCONF.EXE. Список команд можно получить, используя документацию с сайта Adaptec . С помощью CLI можно создавать различные скрипты (мини программы), которые могут использоваться интеграторами для автоматизации производства, настроек, изменения прошивок и т.д. и в компаниях, использующих RAID контроллеры для автоматического опроса систем хранения на предмет выявления нештатных ситуаций.
Возможность управления всей инфраструктурой из одного клиентского приложения. C помощью MSM в окне Enterprise View Вы можете «забрать» на управление все серверы с установленными в них одним или несколькими RAID контроллерами. Для этого вы или прямо указываете IP адрес таких систем, или используете функцию Auto Discovery.

Высокий уровень детализации, визуализации и вложенности объектов управления. Администратор может видеть, что весь сегмент сети стал красным, это означает – существует неисправность. Если раскрыть иконку сетевого сегмента, то будут видны все сервера. Проблемный сервер будет отмечен красным цветом. Если кликнуть мышкой на этом сервере будут видны RAID контроллеры, установленные в этой системе. Красный цвет одного из них означает какую-то проблему. При дальнейшей детализации будут видны тома, созданные на этом контроллере и проблемный том. И так с точностью до проблемного физического диска. Теперь администратор точно знает, что случилось, к каким последствиям это привело, и какой диск надо заменить.
Высокий уровень безопасности систем управления при использовании стандартных сетевых протоколов. Механизмы управления системами хранения, очевидно, нуждаются в защите. Ведь при несанкционированном доступе или при открытом канале управления пользовательские данные могут быть уничтожены без возможности восстановления. С этой целью MSM использует базу пользователей и паролей из самой операционной системы. Кроме этого, на канале между браузером и сервером управления используется шифрование трафика через протокол HTTPS. В других компонентах системы управления вопросы безопасности также решаются на самом высоком уровне.
Возможность отправки важных сообщений из системы хранения администратору. Чтобы не «приковывать» навеки взгляд администратора к экрану с MS в WEB браузере, система управления может быть настроена на отправку сообщений по E-mail. MSM имеет возможность отправлять все типы сообщений, включая тестовые. Наибольшую важность имеют сообщения типа Warning и Error, которые напрямую связаны с переходами RAID томов в состояние Degrade и Failed. Такие сообщения через почтовые приложения могут быть легко переданы на мобильный телефон администратора. Добавить метки

Ранее публиковал первую часть, в которой описывались общие сведения о RAID контроллерах (), были вопросы и интерес, выкладываю уже «мясной» кусок. Здесь всё очень конкретно – подробная классификация контроллеров Adaptec, функции каждой серии контроллеров, таблицы, картинки и т.д.

Модельный ряд RAID контроллеров Adaptec.

Классификация контроллеров Adaptec.

Можно попробовать представить усиление функций стека относительно класса проектов в этой таблице графически, чтобы придать таблице наглядность.

Таблица применения моделей с точки зрения поддержки SSD дисков.

Еще более мощную поддержку использования большого количества SSD дисков на контроллере будут давать следующие поколения RAID контроллеров и HBA. Количество дисков, указанное в таблице, имеет примерное значение. Более точные расчеты производительности в данной статье не указываются, они могут быть выполнены компаниями – интеграторами.

Сервер Тринити - надежное вложение

Оперативная сборка и высокая доступность необходимых комплектующих. Тринити располагает 2 производственными площадками мощностью до 15 000 серверов в год (ОЕМ: Supermicro, Intel)
Высокое качество сборки - менее 2% гарантийных случаев.
Обязательное тестирование : все аппаратные и программные компоненты; создание массивов; установка операционных систем (Windows, Linux); проверка оборудования под высокой нагрузкой.
Гарантия от 3 лет с сервисным обслуживанием в 42 городах России и СНГ.
Поставка по всей России и СНГ . Возможен самовывоз.

Собери свой сервер! Конфигуратор серверов Тринити.

Зависимость выбора модели RAID контроллера от количества пользователей серверной системы приведена в таблице ниже (указаны активные пользователи). Цифры носят довольно приблизительный характер, и приведены для того, чтобы понять тенденцию в использовании определенных моделей.

И еще один важный момент. Как настоятельно рекомендуют все учебники, посвященные проектированию сложных систем - проект должен учитывать не только настоящие, но будущие требования к системе.

Существует зависимость и от приложений. Например, SSD кэширование ускоряет работу приложений, ориентированных на чтение. К счастью, это больше 90% Internet приложений. Для операций записи тоже возможно кэширование, но это уже больше как “приятное дополнение” к чтению из-за природы самих приложений.

Рассмотрим теперь модели контроллеров более детально.

6-ая серия RAID контроллеров Adaptec.

Общие характеристики контроллеров 6-ой серии:
Базируются на микросхеме RoC (RAID on Chip) PM8013 8x портов SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com;
Модели с максимальным количеством портов – 8 портов SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 2.0;
Кэш память - 512MB DDR2-667 DRAM.
Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-600 Kit) в который входят:

Adaptec RAID 6805 с AFM-600 Flash Module.

Контроллеры 6 серии на уровне стека поддерживают:
Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60 Hybrid RAID 1, 10.
Максимальная производительность ядра контроллера 50 000 IOPS (4 KB blocks, random read).
Производительность для последовательных шаблонов в таблице ниже.

Семейство 6T.
Основная цель появления таких контроллеров семейства 6T - исключить ситуации, когда негибкая часть кабеля (часть, примерно, 2 см длиной после разъема) упирается в крышку или корпус сервера, в радиатор процессора или другие части сервера. Для этого на 6-ой серии контроллеров порты расположены так, чтобы негибкая часть кабеля не выходила за геометрические границы контроллера. Помечено зеленой стрелкой на рисунке. Синий прямоугольник – негибкая часть кабеля.

Adaptec RAID 6805Т с AFM-600 Flash Module.

Семейство 6E

RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша и экспандеров. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже.
Модель 6405E поддерживает максимально 4 диска. Модель 6805E – 8 дисков (поскольку нет поддержки SAS экспандеров). Модель 6405E имеет слот PCI-E 1x, модель 6805E – слот PCI-E 4x ver. 2.

Разъемы портов контроллеров 6-ой серии.
Все семейство RAID контроллеров 6-ой серии поддерживает только порты Mini-SAS.
Для внутренних портов используется разъем – SFF 8087 (internal mini-SAS),

для внешних – SFF-8088 (external mini-SAS).

Сводная таблица для контроллеров 6-ой серии.

7-ая серия RAID контроллеров Adaptec.

Adaptec RAID 71605.

Первый контроллер PCIe 3.0 LP MD2 с 16 портами SAS/SATA 6 Гбит/сек.
Первый контроллер PCIe 3.0 половинной длины с 24 портами.
Первое решение, использующее все преимущества шины PCIe 3.0.
Первое решение, обеспечивающее 450 тысяч IOPS и 6600 МБ/сек.
Первое решение, ориентированное на создание томов на базе SSD.
Впервые в полной мере допускается подключение внешних стоек RBOD, ленточных устройств и автозагрузчиков.

Общие характеристики контроллеров 7-ой серии:

Базируются на микросхеме SRCv RoC (RAID on Chip) PM8015 SRCv 24x порта SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
Модели с максимальным количеством портов – 24 порта SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 3.0;
Кэш память - 1024 MB DDR3-1333 DRAM.

o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.

Контроллеры 7-ой серии на уровне стека поддерживают: Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60, Hybrid RAID 1, 10 и режим HBA.
Начиная с 7-ой серии RAID контроллеры поддерживают режим HBA, т.е. по сути это не совсем RAID контроллер, это RAID контроллер и HBA на одной плате. См. в описании функций продуктов раздел «Режим HBA».
Прекращена поддержка RAID 5EE (причина в том, что производительность RAID6 из-за усиления архитектуры микросхемы RoC сравнялась с RAID5EE, а по всем остальным параметрам – надежность, легкость в обслуживании и т.д., RAID 6 или аналогичен или лучше RAID5EE, что лишает смысла существование RAID 5EE в стеке современного RAID контроллера).

Максимальная производительность ядра контроллера 600 000 IOPS.

Все семейство RAID контроллеров 7-ой серии поддерживает только порты miniSAS-HD.
Для внутренних портов используется разъем – SFF-8643 (internal mini-SAS HD),

для внешних – SFF-8644 (external mini-SAS HD).

Обратите внимание на сбалансированность диапазонов пропускания со стороны SAS и PCI-E на примере 71605 контроллера – единственное в отрасли решение 16 портов SAS2 в низкопрофильном варианте.

Семейство 7E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже).
В отличие от 6E семейство 7E поддерживает экспандеры и имеют такой же разъем 8X PCI-E как и контроллеры без индекса «E».

Семейство 7Q
RAID контроллеры семейства 7Q обладают функцией SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.

Сводная таблица для контроллеров 7-ой серии.

8-ая серия RAID контроллеров Adaptec.

Общие характеристики контроллеров 8-ой серии.

8-ая серия RAID контроллеров является флагманской группой RAID контроллеров на начало 2015 года. И базируется уже на технологии SAS3 (12 Гб/сек). Семейство включает в себя единственный в отрасли 16-портовый RAID-контроллер SAS 12 Гб/с со встроенным флэш-резервированием кэша - всё это в форм-факторе LP/MD2 - ASR-81605ZQ. Максимальные в отрасли для RAID контроллеров 700 000 операций ввода-вывода в секунду (IOPS). Max Cache 3.0 - уникальное для отрасли программное обеспечение уровневого управления и кэширования, обеспечивает хранилищам лучшую экономическую эффективность и производительность.

ASR-8885 имеет 8 внутренних/внешних портов SAS3 12 Гб/сек в низкопрофильном форм-факторе LP/MD2:
Базируются на микросхеме SRCv RoC (RAID on Chip) PMC PM8063 16x портов SAS3 (12 Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
Модели с максимальным количеством портов - 12 портов SAS 3.0 (12 Гб/сек) и слотом 8x PCI-express Gen 3.0;
Кэш память - 1024 MB DDR3-1600 DRAM;
Разъёмы HD miniSAS.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Модель AFM-700 модуля защиты кэша подходит к 7 и 8 серии контроллеров Adaptec.

Семейство 8Q
RAID контроллеры семейства 8Q поддерживают функцию SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.

Сводная таблица для контроллеров 8-ой серии.

Adaptec RAID 81605ZQ с подключенным блоком суперконденсатора.

6-ая серия HBA Adaptec

Adaptec SAS HBA 6805H.

Общие характеристики HBA 6H серии:
Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 4 / 8 внутренних SAS портов (технологии SAS2 6Гб/сек);
Производительность 250000 IOPS с размером блока. 512 Байт и 200000 IOPS с размером блока 4Kбайта;
Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS разъемы;
Семейство использует 4x PCI-express Gen 2.0.

Сводная таблица для HBA 6-ой серии.

7-ая серия HBA Adaptec.

Adaptec SAS HBA 71605H.

Общие характеристики HBA 7H серии:
Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 16/ 8 внутренних или внешних SAS портов (технологии SAS2 6Гб/сек);
Производительность 1 миллион IOPS с размером блока. 512 Байт и 800000 IOPS с размером блока 4Kбайта;
Поддерживают недисковые устройства;
Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS-HD разъемы;
Семейство использует 8x PCI-express Gen 3.0.

Сводная таблица для HBA 7-ой серии.

Общий взгляд на ядро линейки продуктов с точки зрения поддержки функций RAID и HBA.

Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти