Когда нужен RAID? Что такое RAID?

Когда нужен RAID? Что такое RAID?

                Если Вы заинтересовались этой технологией, то Вы, по-видимому, столкнулись или предполагаете вскоре столкнуться с одной из ниже перечисленных проблем на Вашем компьютере:

 - явно не хватает физического объема винчестера как единого логического диска. Наиболее часто эта проблема возникает при работе с файлами большого объема (видео, графика, базы данных).

явно не хватает производительности винчестера. Наиболее часто эта проблема возникает при работе с системами нелинейного видеомонтажа или при одновременном обращении к файлам на винчестере большого количества пользователей;

 - явно не хватает надежности винчестера. Наиболее часто эта проблема возникает при необходимости работать с данными, которые ни в коем случае нельзя потерять или которые должны быть всегда доступны для пользователя. Печальный опыт показывает, что даже самая надежная техника иногда ломается и, как правило, в самый неподходящий момент.

                Решить эти и некоторые другие проблемы может создание на Вашем компьютере системы RAID.

Что такое RAID? RAID - Redundant Array of Independent (или Inexpensive) Disks (избыточный массив независимых (или недорогих) дисководов). В основу RAID положена следующая идея: объединяя в массив несколько небольших и/или дешевых дисководов, можно получить систему, превосходящую по объему, скорости работы и надежности самые дорогие дисководы. Вдобавок ко всему, такая система с точки зрения компьютера выглядит как один единственный дисковод.

                Известно, что среднее время наработки на отказ массива дисководов равно среднему времени наработки на отказ одиночного дисковода, деленному на число дисководов в массиве. Вследствие этого среднее время наработки на отказ массива оказывается слишком малым для многих приложений. Однако дисковый массив можно несколькими способами сделать устойчивым к отказу одного дисковода.

                В данной статье определено пять типов (уровней) дисковых массивов: RAID-1, RAID-2, RAID-3, RAID-4, RAID-5. Каждый тип обеспечивает устойчивость на отказ, а также различные преимущества по сравнению с одиночным дисководом. Наряду с этими пятью типами популярность приобрел также дисковый массив RAID-0, НЕ обладающий избыточностью. Какие существуют уровни RAID и какой из них выбрать?

                RAID-0. Обычно определяется как неизбыточная группа дисководов без контроля четности. RAID-0 по способу размещения информации по дисководам, входящим в массив, иногда называется "Striping" ("полосатый" или "тельняшка"):

 Так как RAID-0 не обладает избыточностью, авария одного дисковода приводит к аварии всего массива. С другой стороны, RAID-0 обеспечивает максимальную скорость обмена и эффективность использования объема дисководов. Поскольку для RAID-0 не требуются сложные математические или логические вычисления, затраты на его реализацию минимальны.

                Область применения: аудио/видеоприложения, требующие высокую скорость непрерывной передачи данных, которую не может обеспечить одиночный дисковод. Исследования, проведенные с целью определить оптимальную конфигурацию дисковой системы для станции нелинейного видео монтажа, показывают, что по сравнению с одним дисководом массив RAID-0 из двух дисководов дает прирост скорости записи/чтения на 96%, из трех дисководов - на 143% (по данным теста Miro VIDEO EXPERT Benchmark). Минимальное количество дисководов в массиве - 2.

                RAID-1. Более известен как "Mirroring" ("дисковое зеркало") или пара дисководов, содержащих одинаковую информацию и составляющих один логический диск:

 Запись производится на оба дисковода в каждой паре. Тем не менее, дисководы, входящие в пару, могут совершать одновременные операции чтения. Таким образом, "зеркалирование" может удваивать скорость чтения, но скорость записи остается неизменной. RAID-1 обладает 100% избыточностью, и авария одного дисковода не приводит к аварии всего массива - контроллер просто переключает операции чтения/записи на оставшийся дисковод.

RAID-1 обеспечивает наивысшую скорость работы среди всех типов избыточных массивов, особенно в многопользовательском окружении, но наихудшее использование дискового пространства. Поскольку для RAID-1 не требуются сложные математические или логические вычисления, затраты на его реализацию минимальны. Минимальное количество дисководов в массиве - 2.

                Для увеличения скорости записи и обеспечения надежности хранения данных несколько массивов RAID-1 можно, в свою очередь, объединить в RAID-0. Такая конфигурация называется "двухуровневый" RAID или RAID-10 (RAID 0+1):

Минимальное количество дисководов в массиве - 4. Область применения: дешевые массивы, в которых главное - надежность хранения данных.

                RAID-2. Распределяет данные по страйпам размером в сектор по группе дисководов. Некоторые дисководы выделяются для хранения ECC (код коррекции ошибок). Так как большинство дисководов по умолчанию хранят коды с ECC для каждого сектора, RAID-2 не дает особых преимуществ по сравнению с RAID-3 и поэтому практически не применяется.

                RAID-3. Как и в случае с RAID-2, данные распределяются по страйпам размером в один сектор, а один из дисководов массива отводится для хранения информации о четности:

 RAID-3 полагается на коды с ECC, хранящиеся в каждом секторе для обнаружения ошибок. В случае отказа одного из дисководов восстановление хранившейся на нем информации возможно с помощью вычисления исключающего ИЛИ (XOR) по информации на оставшихся дисководах. Каждая запись обычно распределена по всем дисководам, и поэтому этот тип массива хорош для работы в приложениях с интенсивным обменом с дисковой подсистемой. Так как каждая операция ввода-вывода обращается ко всем дисководам массива, RAID-3 не может одновременно выполнять несколько операций. Поэтому RAID-3 хорош для однопользовательского однозадачного окружения с длинными записями. Для работы с короткими записями требуется синхронизация вращения дисководов, так как иначе неизбежно уменьшение скорости обмена. Применяется редко, т.к. проигрывает RAID-5 по использованию дискового пространства. Реализация требует значительных затрат. Минимальное количество дисководов в массиве - 3.

                RAID-4. RAID-4 идентичен RAID-3 за исключением того, что размер страйпов много больше одного сектора. В этом случае чтение осуществляется с одного дисковода (не считая дисковода, хранящего информацию о четности), поэтому возможно одновременное выполнение нескольких операций чтения. Тем не менее, так как каждая операция записи должна обновить содержимое дисковода четности, одновременное выполнение нескольких операций записи невозможно. Этот тип массива не имеет заметных преимуществ перед массивом типа RAID-5.

                RAID-5. Этот тип массива иногда называется "массив с вращающейся четностью". Данный тип массива успешно преодолевает присущий RAID-4 недостаток - невозможность одновременного выполнения нескольких операций записи. В этом массиве, как и в RAID-4, используются страйпы большого размера, но, в отличие от RAID-4, информация о четности хранится не на одном дисководе, а на всех дисководах по очереди:

Операции записи обращаются к одному дисководу с данными и к другому дисководу с информацией о четности. Так как информация о четности для разных страйпов хранится на разных дисководах, выполнение нескольких одновременных операций записи невозможно только в тех редких случаях, когда либо страйпы с данными, либо страйпы с информацией о четности находятся на одном и том же дисководе. Чем больше дисководов в массиве, тем реже совпадает местоположение страйпов информации и четности. Область применения: надежные массивы большого объема. Реализация требует значительных затрат. Минимальное количество дисководов в массиве - 3.

                RAID-1 или RAID-5? RAID-5 по сравнению с RAID-1 более экономно использует дисковое пространство, так как в нем для избыточности хранится не "копия" информации, а контрольное число. В результате в RAID-5 можно объединить любое количество дисководов, из которых только один будет содержать избыточную информацию.

                Но более высокая эффективность использования дискового пространства достигается за счет более низкой скорости обмена информацией. Во время записи информации в RAID-5 надо каждый раз обновлять информацию о четности. Для этого надо определить, какие именно биты четности изменились. Сначала считывается подлежащая обновлению старая информация. Затем эта информация перемножается по XOR с новой информацией. Результат этой операции - битовая маска, в которой каждый бит = 1 означает, что в информации о четности в соответствующей позиции надо заменить значение. Затем обновленная информация о четности записывается на соответствующее место. Следовательно, на каждое требование программы записать информацию RAID-5 совершает два чтения, две записи и две операции XOR.

За то, что более эффективно используется дисковое пространство (вместо копии данных хранится блок четности), приходится платить: на генерацию и запись информации о четности уходит добавочное время. Это означает, что скорость записи на RAID-5 ниже, чем на RAID-1 в соотношении 3:5 или даже 1:3 (т.е. скорость записи на RAID-5 составляет от 3/5 до 1/3 от скорости записи RAID-1). Из-за этого RAID-5 бессмысленно создавать в программном варианте. Их также нельзя рекомендовать в тех случаях, когда именно скорость записи имеет решающее значение.

                Какой выбрать способ реализации RAID - программный или аппаратный? Прочитав описание различных уровней RAID, можно заметить, что нигде не упоминаются какие-либо специфические требования к аппаратуре, которая необходима для реализации RAID. Из чего можно сделать вывод, что все, что нужно для реализации RAID - подключить необходимое количество дисководов к имеющемуся в компьютере контроллеру и установить на компьютер специальное программное обеспечение. Это верно, но не совсем!

                Действительно, существует возможность программной реализации RAID. Примером может служить ОС Microsoft Windows NT 4.0 Server или выше, в которой возможна программная реализация RAID-0, -1 и даже RAID-5. Однако данное решение следует рассматривать как крайне упрощенное, не позволяющее полностью реализовать возможности RAID-массива. Достаточно отметить, что при программной реализации RAID вся нагрузка по размещению информации на дисководах, вычислению контрольных кодов и т.д. ложится на центральный процессор, что, естественно, не увеличивает производительность и надежность системы. По тем же причинам, здесь практически отсутствуют какие-либо сервисные функции, и все операции по замене неисправного дисковода, добавления нового дисковода, изменения уровня RAID и т. п. производятся с полной потерей данных и при полном запрете выполнения каких-либо других операций. Единственное достоинство программной реализации RAID - минимальная стоимость.

                Гораздо больше возможностей дает аппаратная реализация RAID при помощи специальных RAID-контроллеров:

 -специализированный контроллер значительно разгружает центральный процессор от операций с RAID, причем эффективность контроллера тем более заметна, чем выше уровень сложности RAID.

 - контроллеры, как правило, снабжены драйверами, позволяющими создать RAID практически для любой популярной ОС.

 - встроенный BIOS контроллера и прилагаемые программы управления позволяют администратору системы легко подключать, отключать или заменять дисководы, входящие в RAID, создавать несколько RAID-массивов, причем даже разных уровней, контролировать состояние дискового массива и т.д.

                У "продвинутых" контроллеров эти операции можно производить "на лету", т.е. не выключая системный блок. Многие операции могут быть выполнены в "фоновом режиме", т.е. не прерывая текущую работу, и даже дистанционно, т.е. с любого (конечно, при наличии доступа) рабочего места.

                Контроллеры могут оснащаться буферной памятью ("кэш"), в которой запоминаются несколько последних блоков данных, что при частом обращении к одним и тем же файлам, позволяет значительно увеличить быстродействие дисковой системы.

                Недостатком аппаратной реализации RAID является относительно высокая стоимость RAID-контроллеров. Однако, с одной стороны, за все (надежность, быстродействие, сервис) надо платить. С другой стороны, в последнее время с развитием микропроцессорной техники стоимость RAID контроллеров (особенно младших моделей) стала резко падать и стала сравнимой со стоимостью обыкновенных дисковых контроллеров, что позволяет устанавливать RAID системы не только в дорогие мэйнфреймы, но и в сервера начального уровня и даже в рабочие станции.

                Как выбрать модель RAID-контроллера? Можно выделить несколько типов RAID-контроллеров в зависимости от их функциональных возможностей, конструктивному исполнению и стоимости:

 - Контроллеры дисковода с функциями RAID. По сути, это обыкновенный дисковый контроллер, который благодаря специальной прошивке BIOS позволяет объединять дисководы в RAID-массив, как правило, уровня 0, 1 или 0+1.

                Выводы: Контроллеры дисковода с функциями RAID вряд ли можно рекомендовать в качестве RAID-контроллера для сервера даже среднего уровня (отсутствует кэш, не поддерживается RAID 3 или 5). В то же время, это прекрасный выбор для серверов начального уровня, графических станций и систем нелинейного видеомонтажа, для которых основным параметром является соотношение цена / производительность.

 - RAID-контроллеры, работающие в паре с уже имеющимся дисковым контроллером ("0"-канальные RAID-контроллеры). Данные RAID-контроллеры разрабатывались как RAID-дополнение к дисковым контроллерам, интегрированным на системных платах. Таким образом, на плате контроллера находится только "логическая" часть RAID-контроллера, а функция обмена данными с дисководами возложена на интегрированный на системной плате дисковый контроллер. Такие "усеченные" контроллеры, как правило, поддерживают многие функции полнофункциональных RAID-контроллеров и в тоже время стоят намного дешевле. Однако данное решение не лишено недостатков. Главный из них - каждый "усеченный" контроллер жестко "привязан" к конкретному типу микросхем дискового контроллера и, следовательно, будет работать только на тех системных платах, на которых интегрирована такая микросхема.

Объединение RAID-контроллера с дисковым контроллером через шину PCI значительно нагружает последнюю, тормозя другие операции ввода-вывода. Для повышения общей производительности системы на некоторых системных платах введен дополнительный интерфейс, названный PCI-RAIDport, позволяющий RAID-контроллеру напрямую обмениваться данными с интегрированным на системной плате SCSI-контроллером.

                Выводы: "0" канальные RAID-контроллеры, работающие в паре с уже имеющимся дисковым контроллером, имеют стоимость ненамного выше стоимости качественных Ultra2 SCSI дисковых контроллеров. В тоже время по характеристикам они почти не уступают полнофункциональным RAID-контроллерам (отсутствует батарейный модуль для защиты кэша (BBU), и не предусмотрена кластеризация RAID-контроллеров). Недостатком можно считать то, что эти контроллеры "заточены" для работы с определенными типами системных плат, что сужает область их применения.

                "1+" канальные RAID-контроллеры.  Видимо понимая основной недостаток "0" канальных RAID-контроллеров, разработчики дополнили модельный ряд контроллерами, имеющими "на борту" свой дисковый контроллер, что позволяет использовать их как самостоятельный одноканальный RAID-контроллер с любой системной платой PCI или как дополнение к дисковому контроллеру, интегрированному на системной плате. В последнем случае пользователь может использовать для создания RAID-массива все дисковые каналы. Остальные характеристики и возможности мало отличаются от "базовых" "0" канальных моделей.

                Выводы: "1+" канальные RAID-контроллеры по характеристикам почти не уступают полнофункциональным RAID-контроллерам (более медленный RISC процессор, отсутствует батарейный модуль для защиты кэша (BBU)), но при этом имеют значительно меньшую стоимость. Возможна работа в паре с уже имеющимся на системной плате дисковым контроллером (дополнительная экономия средств). Можно рекомендовать для серверов начального и среднего уровней, где главное требование - неплохие характеристики при минимальных затратах.

                Полнофункциональные RAID-контроллеры.  Данные RAID-контроллеры содержат "на борту" все необходимое для работы с высокопроизводительными дисковыми системами:

 - BIOS, позволяющий независимо от используемой ОС конфигурировать и форматировать RAID любого уровня.

 - Скоростной RISC процессор для быстрого вычисления контрольных сумм и коррекции ошибок "на лету".

 - Кэш-память для хранения часто используемых данных и батарейный модуль для защиты кэша от сбоя питания.

 - До 3-х высокоскоростных каналов, работающих независимо, каждый из которых поддерживает до 15 дисководов.

 - Поддержка кластеризации контроллеров для создания сверхнадежных систем.

                Выводы: полнофункциональные RAID-контроллеры отвечают самым высоким требованиям, как по производительности, так и по надежности, и их можно рекомендовать для серверов среднего и верхнего уровней.

Внешние RAID-контроллеры. Несмотря на прекрасные характеристики вышеперечисленных RAID-контроллеров, все они имеют существенный недостаток, связанный с их конструкцией. Эти контроллеры являются "внутренними" в том смысле, что они управляются и получают напряжение питания через внутреннюю шину PCI системной платы. Очевидно, что сбои и отказы системной платы могут привести к искажениям или потере данных в RAID-массиве. От этого недостатка свободны так называемые внешние RAID-контроллеры. Здесь термин "внешние" имеет двойное значение: а) такие контроллеры, как правило, размещаются в отдельном корпусе (обычно вместе с RAID-массивом), имеющем свой независимый блок питания и б) управляются через внешний канал SCSI-контроллера, подключенного к системной плате. С точки зрения SCSI-контроллера внешний RAID-контроллер с дисковым массивом выглядит как один SCSI-дисковод. Даже конструктивно внешний RAID-контроллер имеет габариты 3,5" или 5,25" дисковода. На лицевой панели внешнего RAID-контроллера может находиться ЖК-индикатор, отображающий состояние и параметры контроллера, и клавиатура для управления и настройки. Другой особенностью конструкции является модульность: внешний RAID-контроллер может состоять из основной "материнской" платы и "дочерних" плат, на которых располагаются дополнительные каналы. Разные модели "дочерних" плат могут содержать разные типы каналов-Ultra Wide SCSI, LVD SCSI или FC-AL, причем эти каналы могут быть двунаправленными, то есть работать как Host для подключенных к ним дисков или как Drive при подключении к другому контроллеру. Очевидно, что внешние RAID-контроллеры стоят значительно дороже, чем аналогичные "внутренние" модели, однако эта разница окупается за счет более широких возможностей внешнего RAID-контроллера.

                Наличие двунаправленных каналов и внешнее исполнение позволяет создавать так называемые кластерные дисковые системы с недостижимой ранее надежностью. В таких системах несколько серверов соединены одновременно с несколькими RAID-контроллерами, которые, в свою очередь, управляют несколькими общими дисковыми массивами, причем отказ любого компонента такой системы (сервера, RAID-контроллера, диска, блока питания, кабеля и т.д.) не ведет к отказу всей системы, а только несколько снижает ее производительность.

                Выводы: внешние RAID-контроллеры обеспечивают самый высокий уровень производительности и надежности из всех типов RAID-контроллеров. Их можно рекомендовать для серверов среднего и верхнего уровней. Наличие FC-AL каналов позволяет разнести сервер и RAID-массив на значительное расстояние для защиты данных. Двунаправленные каналы позволяют объединять контроллеры и дисковые массивы в сверхнадежный кластер. Нечувствительность к операционным системам упрощает настройку и устраняет "вечный источник" проблем - "кривые" драйвера. Единственный недостаток - относительно высокая цена, однако, в ряде случаев, применение внешнего RAID-контроллера может дать экономию средств. Например, если в системе должны работать два сервера с RAID-массивами, то применение одного внешнего RAID-контроллера с общим дисковым массивом, подключенного к SCSI-контроллерам каждого из серверов, позволит сэкономить стоимость внутреннего RAID-контроллера, рационально использовать дисковое пространство, упростить настройку и обслуживание.

                Что такое - "Hot swap" (замена "на лету")? Основная задача технологии RAID - обеспечение высокой надежности хранения и быстрого доступа к данным, хранящимся в дисковом массиве, а также высокий уровень сервиса при обслуживании дискового массива. При выходе из строя диска, входящего в RAID-массив с избыточностью (т.е. любого уровня, кроме 0), система может продолжить работу, т.к. RAID-контроллер может восстановить информацию, хранившуюся на вышедшем из строя диске, благодаря избыточности данных. Дальнейшее воcстановление полной работоспособности дискового массива требует действий оператора для замены неисправного диска. Для реализации "Hot swap" необходимо:

 - RAID-контроллер с активным режимом "Hot swap".

 - Специальный конструктив, который позволит менять диски, не разбирая корпус системы.

                 В качестве такого конструктива можно использовать:

Специальный корпус для винчестера , состоящий из "коробочки", внутри которой находится 3,5" жесткий диск, которая вставляется в П-образную рамку, закрепляемую в стандартное 5,25" гнездо корпуса системы. На рамке корпуса расположены блок управления питанием диска и замок с ключом, который механически запирает/отпирает диск и включает/выключает напряжение, подаваемое на диск. Обычно "коробочки" имеют переключатель SCSI ID - номера устройства, индикатор SCSI ID номера, индикатор обращения к дисководу и 1 или 2 вентилятора. Достоинство - удобный, защищающий дисковод корпус, безопасная (для работающей системы) процедура замены дисковода, наличие индикаторов и охлаждающих вентиляторов. Недосток - относительно высокая цена, дополнительные разъемы и схемы, которые могут стать источником отказов.

                "Корзина" для SCSI-дисков с разъемом SCA (80 контактный разъем, в котором объединены сигнальные провода и питание). "Корзина" представляет собой П-образную раму, которая занимает два или четыре стандартных 5,25" гнезда корпуса системы, и в которую можно вставить до трех или шести SCA SCSI-дисков соответственно. Ответные части SCA SCSI разъемов впаяны в печатную плату, заменяющую гибкий шлейф, на которой установлены переключаемый SCSI-терминатор, разъемы для подключения к контроллеру и к следующей корзине и перемычки (переключатели) для установки SCSI ID-номера устройства. В "корзине" могут быть установлены вентиляторы. Достоинство - относительно невысокая цена, простая конструкция. Недостаток - корпус диска не защищен от механических повреждений во время замены, процедура замены диска небезопасна для работающей системы, отсутствуют индикаторы SCSI ID-номера и индикаторы обращения к дисководу.

                Что такое - "Hot Spare"(горячий резерв).  Технологию Hot Spare иногда рассматривают как альтернативу "Hot Swap", хотя это не совсем верно. Для реализации Hot Spare необходимо:

 - RAID-контроллер с активным режимом "Hot Spare".

 - По крайней мере один дополнительный диск, к которому, так же как и к остальным дисководам, входящим в дисковый массив, подключены питающий и сигнальный кабель.

 Во время инициализации RAID-массива этот дополнительный диск включается в состав RAID, но не как активный, а как Hot Spare, т.е. находящийся в горячем резерве. В случае выхода из строя любого из дисководов, входящих в RAID-массив, RAID-контроллер автоматически отключает неисправный дисковод и активизирует резервный. Перенос (восстановление) информации также происходит в фоновом режиме без прерывания работы системы. Достоинство - время, в течение которого RAID-массив находится в незащищенном режиме, сведено к минимуму. Недостаток - требуется дополнительный диск, который большую часть времени не участвует в работе системы, но потребляет энергию и выделяет тепло.

                Какие требования к блоку питания RAID-массива?  При проектировании дисковой системы необходимо обратить внимание на качество исполнения источника питания. Причины две:

 - каждый дисковод потребляет мощность, особенно в момент пуска, что дает значительную нагрузку на блок питания.

 - бесполезно пытаться создать надежный RAID-массив только за счет надежного RAID-контроллера и избыточного дискового массива, если все это будет подключено к ненадежному источнику питания.

                Для питания дискового массива желательно применять дополнительный (с функцией горячей замены) блок питания. Для снижения нагрузки на блок питания в момент пуска системы при большом количестве дисководов полезно включить функцию последовательного пуска дисков.

                Необходимо ли дополнительное охлаждение для RAID-массива? Как уже отмечалось, компоненты RAID-массива - контроллер, и особенно дисководы, потребляют и, соответственно, выделяют в виде тепла сотни Ватт. Это тепло необходимо постоянно отводить, иначе перегрев может привести к отказу контроллера или дисков. Для этой цели используются дополнительные вентиляторы, часть которых работает непосредственно на обдув дисководов, часть на вытяжку горячего воздуха, а часть на приток холодного.