Расширенная установка

Избыточный массив независимых дисков (Redundant Array of Independent Disks, RAID) это метод использования нескольких дисков для различных сочетаний увеличения надежности хранения данных и/или увеличения производительности операций чтения/записи в зависимости от используемого уровня RAID. RAID реализуется либо на программном уровне (когда операционная система знает про оба носителя и активно их обслуживает), либо на аппаратном (когда специальный контроллер заставляет ОС думать, что существует только один носитель и обслуживает носители незаметно для системы).

ПО для работы с RAID, включенное в текущие версии Linux (и Ubuntu), основано на драйвере «mdadm» и работает очень хорошо, даже лучше чем многие, так называемые, «аппаратные» RAID контроллеры. Этот секция поможет вам установить Ubuntu Server Edition, используя два раздела RAID первого уровня, находящиеся на двух физических жестких дисках, один для / (корневого раздела), а другой для подкачки (swap).

Следуйте инструкциям по установке пока вы не достигните этапа разметки дисков, затем:

1. Выберите метод разметки Вручную.

2. Выберите первый жесткий диск и согласитесь «Создать новую пустую таблицу разделов на этом устройстве?».

   Повторите этот шаг для каждого диска, который вы собираетесь включить в RAID массив.

3. Выберите «СВОБОДНОЕ МЕСТО» на первом носителе и выберите «Создать новый раздел».

4. Далее, выберите размер раздела. Этот раздел будет разделом подкачки, а общее правило для определения размера раздела подкачки – двойной объем RAM. Введите размер, далее выберите «Первичный», затем «Начало».

   Двойной размер раздела подкачки по отношению к оперативной памяти (RAM) не всегда желателен, особенно на системах с большим объемом RAM. Расчет размера раздела подкачки в значительной степени зависит от того, как будет использоваться система.

5. Выберите строку «Использовать как:» вверху. По умолчанию там установлено «Журналируемая файловая система Ext4», измените ее на «физический том для RAID» затем выберите «Настройка раздела закончена».

6. Для раздела / снова выберите «СВОБОДНОЕ МЕСТО» на первом носителе и нажмите «Создать новый раздел».

7. Используйте оставшееся свободное на носителе место и выберите «Далее», а затем «Первичный».

8. Так же как и для раздела подкачки выберите строку «Использовать как:» вверху и измените ее на «физический том для RAID». Также поставьте отметку на строке «Загрузочный флаг:». После этого выберите «Настройка раздела закончена».

9. Повторите шаги с третьего по восьмой для всех остальных дисков и разделов.

С разметкой разделов массив готов к настройке:

1. Вернитесь на основную страницу «Разметка дисков», выберите «Настройка программного RAID» сверху.

2. Выберите «да» для записи изменений на диск.

3. Выберите «Создать MD устройство».

4. Для этого примера выберите «RAID1», но если вы используете другую конфигурацию выберите соответствующий тип (RAID0 RAID1 RAID5).

   Для использования RAID5 нужно по крайней мере три диска. Использование RAID0 или RAID1 потребует лишь двух дисков.

5. Введите количество активных устройств равное «2», или же количество жестких дисков которые у вас выделены под массив. После этого нажмите «Далее».

6. Далее, введите число резервных устройств «0» по умолчанию, после чего нажмите «Далее».

7. Выберите используемые разделы. Как правило это будут sda1, sdb1, sdc1, и т.д. Цифры обычно совпадают, а разные буквы соответствуют разным жестким дискам.

   Для раздела подкачки выберите sda1 и sdb1. Нажмите «Далее» для перехода к следующему шагу.

8. Повторите шаги с третьего по седьмой для раздела /, выбрав sda2 и sdb2.

9. По окончании выберите «Завершить».

Теперь должен появиться список жестких дисков и RAID устройств. Следующим шагом является форматирование и установка точек монтирования для RAID устройств. Относитесь к RAID устройствам как к локальным жестким дискам, отформатируйте и выберите точки монтирования соответственно.

1. Выберите «#1» под разделом «RAID1 устройство #0».

2. Выберите «Использовать как:». Далее выберите «раздел подкачки», затем «Настройка раздела выполнена».

3. Следующим выберите «#1» под разделом «RAID1 устройство #1».

4. Выберите «Использовать как:». Далее выберите «Журналируемая файловая система Ext4».

5. Затем выберите «Точка подключения:» и выберите « / – корневая файловая система». Измените все необходимые опции и выберите «Настройка раздела выполнена».

6. Ну и наконец, выберите «Завершить разметку и записать изменения на диск».

Если вы разместили корневой раздел на RAID массиве, установщик спросит хотите ли вы загружать систему в состоянии пониженной работоспособности. Более подробную информацию читайте в разделе Поврежденный RAID.

Далее процесс установки продолжится как обычно.

В определенный момент работы компьютера вы можете столкнуться с отказом диска. Когда это случится, при использовании программного RAID, операционная система переведет массив в режим пониженной работоспособности (degraded state).

Если массив поврежден, в связи с возможностью потери данных, по-умолчанию Ubuntu Server Edition запустит начальный загрузчик через 30 секунд. Как только загрузчик стартует, появится предупреждение на 50 секунд с выбором либо продолжить и загрузить систему, либо сделать попытку восстановления вручную. Запуск загрузчика с предупреждением может быть как желательным, так и нет, особенно если это удаленный компьютер. Загрузка с поврежденным массивом может быть настроена по-разному:

• Утилита dpkg-reconfigure может быть использована для настройки желательного варианта по-умолчанию и в процессе у вас будет возможность задать дополнительные настройки, связанные с массивом. Таких, как слежение, почтовые предупреждения и пр. Для перенастройки mdadm введите следующее:

sudo dpkg-reconfigure mdadm

• Команда sudo dpkg-reconfigure mdadm изменит конфигурационный файл /etc/initramfs-tools/conf.d/mdadm. У этого файла есть возможность предварительной настройки желаемого поведения системы и он может быть отредактирован вручную:

BOOT_DEGRADED=true

• Использование параметра ядра также позволит загрузиться системе с поврежденным массивом:

  1. Когда сервер стартует, нажмите Shift для выхода в меню GRUB.
  2. Нажмите «e» для редактирования опций загрузки ядра.
  3. Клавишей курсор вниз подсветите строку ядра.
  4. Добавьте «bootdegraded=true» (без кавычек) в конец строки.
  5. Нажмите Ctrl-x для загрузки системы.

Как только система загружена вы можете как восстановить массив (см. Обслуживание RAID), так и скопировать важные данные на другую машину в случае сильных повреждений устройства.

Утилита mdadm может быть использована для просмотра статуса массива, добавления дисков в массив, удаления дисков и пр.:

• Для просмотра статуса массива введите в терминале:

sudo mdadm -D /dev/md0

Опция -D говорит mdadm выводить детальную информацию об устройстве /dev/md0. Замените /dev/md0 на соответствующее RAID устройство.

• Для просмотра статуса диска в массиве:

sudo mdadm -E /dev/sda1

Вывод очень похож на команду mdadm -D относительно /dev/sda1 для каждого диска.

• Если диск вышел из строя и должен быть удален:

sudo mdadm --remove /dev/md0 /dev/sda1

Замените /dev/md0 и /dev/sda1 на необходимые RAID устройство и диск.

• Подобным образом добавить диск:

sudo mdadm --add /dev/md0 /dev/sda1

Иногда диск может перейти в неработоспособное состояние даже когда нет никаких повреждений устройства. Обычно достаточно удалить устройство из массива и затем повторно его добавить. В этом случае диск повторно синхронизируется с массивом. Если диск не синхронизируется с массивом, это означает действительное повреждение устройства.

Файл /proc/mdstat также содержит полезную информацию по RAID устройствам в системе:

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid1 sda1[0] sdb1[1]
      10016384 blocks [2/2] [UU]
      
unused devices: <none>

Следующая команда лучше всего подходит для просмотра статуса синхронизации устройства:

watch -n1 cat /proc/mdstat

Нажмите Ctrl-c для окончания просмотра.

Если вам действительно потребовалось заменить поврежденный диск, после его замены и синхронизации будет необходимо установить grub. Для установки grub на новое устройство введите следующее:

sudo grub-install /dev/md0

Замените /dev/md0 на имя соответствующего устройства.

Тема массивов RAID обширна из-за изобилия вариантов настройки RAID. Пожалуйста посмотрите следующие ссылки для дополнительной информации:

1. Ubuntu Wiki Articles on RAID.

2. Software RAID HOWTO

3. Managing RAID on Linux

Logical Volume Manger, or LVM, allows administrators to create logical volumes out of one or multiple physical hard disks. LVM volumes can be created on both software RAID partitions and standard partitions residing on a single disk. Volumes can also be extended, giving greater flexibility to systems as requirements change.

A side effect of LVM's power and flexibility is a greater degree of complication. Before diving into the LVM installation process, it is best to get familiar with some terms.

Physical Volume (PV): physical hard disk, disk partition or software RAID partition formatted as LVM PV.

Volume Group (VG): is made from one or more physical volumes. A VG can can be extended by adding more PVs. A VG is like a virtual disk drive, from which one or more logical volumes are carved.

Logical Volume (LV): is similar to a partition in a non-LVM system. A LV is formatted with the desired file system (EXT3, XFS, JFS, etc), it is then available for mounting and data storage.

As an example this section covers installing Ubuntu Server Edition with /srv mounted on a LVM volume. During the initial install only one Physical Volume (PV) will be part of the Volume Group (VG). Another PV will be added after install to demonstrate how a VG can be extended.

There are several installation options for LVM, «Guided - use the entire disk and setup LVM» which will also allow you to assign a portion of the available space to LVM, «Guided - use entire and setup encrypted LVM», or Manually setup the partitions and configure LVM. At this time the only way to configure a system with both LVM and standard partitions, during installation, is to use the Manual approach.

Follow the installation steps until you get to the Partition disks step, then:

At the «Partition Disks screen choose «Manual».

Select the hard disk and on the next screen choose «yes» to «Create a new empty partition table on this device».

Next, create standard /boot, swap, and / partitions with whichever filesystem you prefer.

For the LVM /srv, create a new Logical partition. Then change «Use as» to «physical volume for LVM» then «Done setting up the partition».

Now select «Configure the Logical Volume Manager» at the top, and choose «Yes» to write the changes to disk.

For the «LVM configuration action» on the next screen, choose «Create volume group». Enter a name for the VG such as vg01, or something more descriptive. After entering a name, select the partition configured for LVM, and choose «Continue».

Back at the «LVM configuration action» screen, select «Create logical volume». Select the newly created volume group, and enter a name for the new LV, for example srv since that is the intended mount point. Then choose a size, which may be the full partition because it can always be extended later. Choose «Finish» and you should be back at the main «Partition Disks» screen.

Now add a filesystem to the new LVM. Select the partition under «LVM VG vg01, LV srv», or whatever name you have chosen, the choose Use as. Setup a file system as normal selecting /srv as the mount point. Once done, select «Done setting up the partition».

Finally, select «Finish partitioning and write changes to disk». Then confirm the changes and continue with the rest of the installation.

There are some useful utilities to view information about LVM:

pvdisplay: shows information about Physical Volumes.

vgdisplay: shows information about Volume Groups.

lvdisplay: shows information about Logical Volumes.

Continuing with srv as an LVM volume example, this section covers adding a second hard disk, creating a Physical Volume (PV), adding it to the volume group (VG), extending the logical volume srv and finally extending the filesystem. This example assumes a second hard disk has been added to the system. In this example, this hard disk will be named /dev/sdb and we will use the entire disk as a physical volume (you could choose to create partitions and use them as different physical volumes)

Make sure you don't already have an existing /dev/sdb before issuing the commands below. You could lose some data if you issue those commands on a non-empty disk.

First, create the physical volume, in a terminal execute:

sudo pvcreate /dev/sdb

Now extend the Volume Group (VG):

sudo vgextend vg01 /dev/sdb Use vgdisplay to find out the free physical extents - Free PE / size (the size you can allocate). We will assume a free size of 511 PE (equivalent to 2GB with a PE size of 4MB) and we will use the whole free space available. Use your own PE and/or free space.

The Logical Volume (LV) can now be extended by different methods, we will only see how to use the PE to extend the LV:

sudo lvextend /dev/vg01/srv -l +511 The -l option allows the LV to be extended using PE. The -L option allows the LV to be extended using Meg, Gig, Tera, etc bytes.

Even though you are supposed to be able to expand an ext3 or ext4 filesystem without unmounting it first, it may be a good practice to unmount it anyway and check the filesystem, so that you don't mess up the day you want to reduce a logical volume (in that case unmounting first is compulsory).

The following commands are for an EXT3 or EXT4 filesystem. If you are using another filesystem there may be other utilities available.

sudo umount /srv sudo e2fsck -f /dev/vg01/srv The -f option of e2fsck forces checking even if the system seems clean.

Finally, resize the filesystem:

sudo resize2fs /dev/vg01/srv Now mount the partition and check its size.

mount /dev/vg01/srv /srv && df -h /srv

See the Ubuntu Wiki LVM Articles.

See the LVM HOWTO for more information.

Another good article is Managing Disk Space with LVM on O'Reilly's linuxdevcenter.com site.

For more information on fdisk see the fdisk man page.