Расширенная установка

Избыточный массив независимых дисков (Redundant Array of Independent Disks, RAID) это метод использования нескольких дисков для различных сочетаний увеличения надежности хранения данных и/или увеличения производительности операций чтения/записи в зависимости от используемого уровня RAID. RAID реализуется либо на программном уровне (когда операционная система знает про оба носителя и активно их обслуживает), либо на аппаратном (когда специальный контроллер заставляет ОС думать, что существует только один носитель и обслуживает носители незаметно для системы).

ПО для работы с RAID, включенное в текущие версии Linux (и Ubuntu), основано на драйвере «mdadm» и работает очень хорошо, даже лучше чем многие, так называемые, «аппаратные» RAID контроллеры. Этот секция поможет вам установить Ubuntu Server Edition, используя два раздела RAID первого уровня, находящиеся на двух физических жестких дисках, один для / (корневого раздела), а другой для подкачки (swap).

Следуйте инструкциям по установке пока вы не достигните этапа разметки дисков, затем:

1. Выберите метод разметки Вручную.

2. Выберите первый жесткий диск и согласитесь «Создать новую пустую таблицу разделов на этом устройстве?».

   Повторите этот шаг для каждого диска, который вы собираетесь включить в RAID массив.

3. Выберите «СВОБОДНОЕ МЕСТО» на первом носителе и выберите «Создать новый раздел».

4. Далее, выберите размер раздела. Этот раздел будет разделом подкачки, а общее правило для определения размера раздела подкачки – двойной объем RAM. Введите размер, далее выберите «Первичный», затем «Начало».

   Двойной размер раздела подкачки по отношению к оперативной памяти (RAM) не всегда желателен, особенно на системах с большим объемом RAM. Расчет размера раздела подкачки в значительной степени зависит от того, как будет использоваться система.

5. Выберите строку «Использовать как:» вверху. По умолчанию там установлено «Журналируемая файловая система Ext4», измените ее на «физический том для RAID» затем выберите «Настройка раздела закончена».

6. Для раздела / снова выберите «СВОБОДНОЕ МЕСТО» на первом носителе и нажмите «Создать новый раздел».

7. Используйте оставшееся свободное на носителе место и выберите «Далее», а затем «Первичный».

8. Так же как и для раздела подкачки выберите строку «Использовать как:» вверху и измените ее на «физический том для RAID». Также поставьте отметку на строке «Загрузочный флаг:». После этого выберите «Настройка раздела закончена».

9. Повторите шаги с третьего по восьмой для всех остальных дисков и разделов.

С разметкой разделов массив готов к настройке:

1. Вернитесь на основную страницу «Разметка дисков», выберите «Настройка программного RAID» сверху.

2. Выберите «да» для записи изменений на диск.

3. Выберите «Создать MD устройство».

4. Для этого примера выберите «RAID1», но если вы используете другую конфигурацию выберите соответствующий тип (RAID0 RAID1 RAID5).

   Для использования RAID5 нужно по крайней мере три диска. Использование RAID0 или RAID1 потребует лишь двух дисков.

5. Введите количество активных устройств равное «2», или же количество жестких дисков которые у вас выделены под массив. После этого нажмите «Далее».

6. Далее, введите число резервных устройств «0» по умолчанию, после чего нажмите «Далее».

7. Выберите используемые разделы. Как правило это будут sda1, sdb1, sdc1, и т.д. Цифры обычно совпадают, а разные буквы соответствуют разным жестким дискам.

   Для раздела подкачки выберите sda1 и sdb1. Нажмите «Далее» для перехода к следующему шагу.

8. Повторите шаги с третьего по седьмой для раздела /, выбрав sda2 и sdb2.

9. По окончании выберите «Завершить».

Теперь должен появиться список жестких дисков и RAID устройств. Следующим шагом является форматирование и установка точек монтирования для RAID устройств. Относитесь к RAID устройствам как к локальным жестким дискам, отформатируйте и выберите точки монтирования соответственно.

1. Выберите «#1» под разделом «RAID1 устройство #0».

2. Выберите «Использовать как:». Далее выберите «раздел подкачки», затем «Настройка раздела выполнена».

3. Следующим выберите «#1» под разделом «RAID1 устройство #1».

4. Выберите «Использовать как:». Далее выберите «Журналируемая файловая система Ext4».

5. Затем выберите «Точка подключения:» и выберите «/ – корневая файловая система». Измените все необходимые опции и выберите «Настройка раздела выполнена».

6. Ну и наконец, выберите «Завершить разметку и записать изменения на диск».

Если вы разместили корневой раздел на RAID массиве, установщик спросит хотите ли вы загружать систему в состоянии пониженной работоспособности. Более подробную информацию читайте в разделе Поврежденный RAID.

Далее процесс установки продолжится как обычно.

В определенный момент работы компьютера вы можете столкнуться с отказом диска. Когда это случится, при использовании программного RAID, операционная система переведет массив в режим пониженной работоспособности (degraded state).

Если массив поврежден, в связи с возможностью потери данных, по-умолчанию Ubuntu Server Edition запустит начальный загрузчик через 30 секунд. Как только загрузчик стартует, появится предупреждение на 50 секунд с выбором либо продолжить и загрузить систему, либо сделать попытку восстановления вручную. Запуск загрузчика с предупреждением может быть как желательным, так и нет, особенно если это удаленный компьютер. Загрузка с поврежденным массивом может быть настроена по-разному:

• Утилита dpkg-reconfigure может быть использована для настройки желательного варианта по-умолчанию и в процессе у вас будет возможность задать дополнительные настройки, связанные с массивом. Таких, как слежение, почтовые предупреждения и пр. Для перенастройки mdadm введите следующее:

sudo dpkg-reconfigure mdadm

• Команда sudo dpkg-reconfigure mdadm изменит конфигурационный файл /etc/initramfs-tools/conf.d/mdadm. У этого файла есть возможность предварительной настройки желаемого поведения системы и он может быть отредактирован вручную:

BOOT_DEGRADED=true

• Использование параметра ядра также позволит загрузиться системе с поврежденным массивом:

  1. Когда сервер стартует, нажмите Shift для выхода в меню GRUB.
  2. Нажмите «e» для редактирования опций загрузки ядра.
  3. Клавишей курсор вниз подсветите строку ядра.
  4. Добавьте «bootdegraded=true» (без кавычек) в конец строки.
  5. Нажмите Ctrl-x для загрузки системы.

Как только система загружена вы можете как восстановить массив (см. Обслуживание RAID), так и скопировать важные данные на другую машину в случае сильных повреждений устройства.

Утилита mdadm может быть использована для просмотра статуса массива, добавления дисков в массив, удаления дисков и пр.:

• Для просмотра статуса массива введите в терминале:

sudo mdadm -D /dev/md0

Опция -D говорит mdadm выводить детальную информацию об устройстве /dev/md0. Замените /dev/md0 на соответствующее RAID устройство.

• Для просмотра статуса диска в массиве:

sudo mdadm -E /dev/sda1

Вывод очень похож на команду mdadm -D относительно /dev/sda1 для каждого диска.

• Если диск вышел из строя и должен быть удален:

sudo mdadm --remove /dev/md0 /dev/sda1

Замените /dev/md0 и /dev/sda1 на необходимые RAID устройство и диск.

• Подобным образом добавить диск:

sudo mdadm --add /dev/md0 /dev/sda1

Иногда диск может перейти в неработоспособное состояние даже когда нет никаких повреждений устройства. Обычно достаточно удалить устройство из массива и затем повторно его добавить. В этом случае диск повторно синхронизируется с массивом. Если диск не синхронизируется с массивом, это означает действительное повреждение устройства.

Файл /proc/mdstat также содержит полезную информацию по RAID устройствам в системе:

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sda1[0] sdb1[1]
      10016384 blocks [2/2] [UU]
      
unused devices: <none>

Следующая команда лучше всего подходит для просмотра статуса синхронизации устройства:

watch -n1 cat /proc/mdstat

Нажмите Ctrl-c для окончания просмотра.

Если вам действительно потребовалось заменить поврежденный диск, после его замены и синхронизации будет необходимо установить grub. Для установки grub на новое устройство введите следующее:

sudo grub-install /dev/md0

Замените /dev/md0 на имя соответствующего устройства.

Тема массивов RAID обширна из-за изобилия вариантов настройки RAID. Пожалуйста посмотрите следующие ссылки для дополнительной информации:

1. Ubuntu Wiki Articles on RAID.

2. Software RAID HOWTO

3. Managing RAID on Linux

Менеджер логических томов, или LVM, позволяет администраторам создавать логические тома на одном и нескольких жестких дисках. LVM тома могут быть созданы как на разделах программного RAID, так и на стандартных разделах единичного диска. Тома также могут расширяться, предоставляя большую гибкость системам по изменению предоставляемых ресурсов.

Побочным эффектом от мощи и гибкости LVM является большая степень сложности. Перед тем, как погружаться в установочный процесс LVM, было бы неплохо ознакомиться с некоторыми терминами.

1. Физический том (Physical Volume - PV): физический жесткий диск, раздел диска или раздел программного RAID, отформатированный как LVM PV.

2. Группа томов (Volume Group - VG): строится из одного или нескольких физических томов. VG могут быть расширены добавлением PV. VG похожи на виртуальные дисковые устройства, которые можно разделять на логические тома.

3. Логический том (Logical Volume - LV): аналогичен разделу на диске без использования LVM. LV отформатированный в желаемую файловую систему (EXT3, XFS, JFS и др.) доступен для монтирования и хранения данных.

Пример в данной секции показывает установку Ubuntu Server Edition с монтированием /srv на том LVM. В процессе начальной установки только один физический том (PV) может стать частью группы томов (VG). Другой PV будет добавлен после установки для демонстрации как VG может быть расширен.

Существует несколько вариантов установки LVM, «Управляемый - использовать весь диск и настроить LVM» который также позволит вам выделить часть доступного пространства под LVM, «Управляемый - использовать целиком и настроить шифрованный LVM» или установить и настроить LVM вручную. На данный момент единственный вариант настроить систему с использованием как LVM, так и стандартных разделов в процессе установки - это использование ручной настройки.

Пройдите по шагам установки пока не дойдете до шага разбивки дисков на разделы, затем:

1. На экране «Дисковые разделы» выберите «Вручную».

2. Выделите жесткий диск и на следующем экране подтвердите «да» на «Создать новую таблицу разделов устройства».

3. Далее создайте стандартные разделы для /boot, swap, и «/» с той файловой системой, которую вы предпочитаете.

4. Для размещения /srv на LVM, создайте новый логический раздел. Затем замените «Использовать как» на «физический том LVM» после чего нажмите «Настройка разделов завершена».

5. Теперь выделите «Настроить менеджер логических томов» вверху и выберите «Да» для сохранения изменений на диск.

6. В качестве «Действия по настройке LVM» на следующем экране выберите «Создать группу томов». Введите имя для VG типа vg01 или что-то более наглядное. После ввода имени выберите раздел, выделенный под LVM, и нажмите «Далее».

7. Вернитесь на экран «Действие по настройке LVM», выберите «Создать логический том». Выделите недавно созданную группу томов и введите имя для LV, например, srv, раз уж она предназначена для этой точки монтирования. Затем выберите размер, который может быть на весь раздел, поскольку его всегда можно будет расширить позднее. Нажмите «Завершить» и вы вернетесь обратно на основную страницу «Дисковые разделы».

8. Теперь добавьте файловую систему для нового LVM. Выделите раздел под названием «LVM VG vg01, LV srv» или тем именем, которое вы выбрали и нажмите «Использовать как». Настройте файловую систему как обычно, выбрав /srv в качестве точки монтирования. По окончании нажмите «Выполнить настройку разделов».

9. Наконец нажмите «Завершить разбиение и сохранить изменения на диск». Затем подтвердите изменения и продолжите обычную установку.

Есть несколько полезных утилит для просмотра информации по LVM:

1. pvdisplay: показывает информацию по физическим томам.

2. vgdisplay: показывает информацию по группам томов.

3. lvdisplay: показывает информацию по логическим томам.

Продолжая с srv как примером тома LVM, в данной секции рассматривается добавление второго жесткого диска, создание физического тома (PV), добавление его в группу томов (VG), расширение логического тома srv и в конце расширение файловой системы. Этот пример подразумевает, что в систему был добавлен второй жесткий диск. В данном примере этот жесткий диск получит имя /dev/sdb и мы будем использовать весь диск под физический том (вы можете выбрать создание разделов и использовать их как другие физические тома).

• Сначала создадим физический том, выполнив в терминале:

sudo pvcreate /dev/sdb

• Теперь расширим группу томов (VG):

sudo vgextend vg01 /dev/sdb

• Используйте vgdisplay для поиска свободных физических экстентов (PE) - Free PE / size (размер, который вы можете занять). Предположим, что свободно 511 PE (эквивалентно 2ГБ при размере PE в 4МБ) и мы используем все доступное свободное место. Используйте ваши собственные PE и/или свободное место.

  Логический том (LV) теперь может быть увеличен различными методами, мы будем рассматривать только как использовать PE для расширения LV:

sudo lvextend /dev/vg01/srv -l +511

Опция -l позволяет расширять LV используя PE. Опция -L позволит задавать увеличение LV в МБ, ГБ, ТБ и т.п.

• Даже если вы считаете, что можете увеличить ext3 или ext4 файловую систему без предварительного отключения, будет хорошей практикой в любом случае отмонтировать ее и проверить на целостность, что позволит избежать суматошного дня по уменьшению логического тома (в этом случае ее придется отключить обязательно).

• Следующая команда только для файловой системы ext3 или ext4. Если вы используете другую файловую систему, возможно придется использовать другие утилиты.

sudo umount /srv
sudo e2fsck -f /dev/vg01/srv

Опция -f для e2fsck заставляет принудительно сделать проверку на целостность системы.

• Наконец, изменяем размер файловой системы:

sudo resize2fs /dev/vg01/srv

• Теперь монтируем раздел и проверяем его размер:

mount /dev/vg01/srv /srv && df -h /srv

1. Смотрите Статьи в Ubuntu Wiki LVM.

2. Смотрите LVM HOWTO для дополнительной информации.

3. Другая хорошая статья Managing Disk Space with LVM на сайте O'Reilly's linuxdevcenter.com.

4. Для дополнительной информации по fdisk смотрите fdisk man page.