Hot Spare w macierzach RAID

Podobno administratorzy dzielą się na tych co robią kopie zapasowe i na tych co będą je robić. Kopia zapasowa jest jednak ostatecznością, której większość adminów chce uniknąć, ponieważ zawsze istnieje ryzko związane z jakością nośnika kopii, jak również sam proces odtwarzania może być czasochłonny i problematyczny. Lepiej więc robić wszystko co w naszej mocy, aby uniknąć konieczności ich użycia.
Tutaj w sukurs przychodzą nam macierze RAID, a wraz z nimi technologia Hot Spare.

Poniżej zostanie wyjaśnione czym jest technologia Hot Spare, jak ją skonfigurować w macierzy NAS Synology, na serwerze DELL poprzez iDrac oraz na serwerze IBM poprzez program zarządzający w systemie Windows. Dokonamy także uszkodzenia macierzy celem przetestowania funkcjonowania dysku Hot Spare.

Definicja Hot Spare z Wikipedii jest krótka, acz dość treściwa:

Hot spare - używany jest jako mechanizm zabezpieczający, w celu zapewnienia niezawodności konfiguracji systemów. Jest aktywnym i podłączonym zapasowym elementem działającego systemu. W przypadku awarii kluczowego elementu, urządzenie hot spare automatycznie przejmuje rolę urządzenia uszkodzonego.

W zakresie macierzy, Hot Spare należy rozumieć jako jeden, lub więcej dysków zapasowych, czekających na automatyczne (na ogół) uruchomienie w przypadku uszkodzenia któregoś z głównych dysków macierzy.

Schemat macierzy z czterema dyskami w RAID i piątym jako Hot Spare

Jeżeli jeden z nich ulega uszkodzeniu wtedy macierz przestaje z niego korzystać i zaczyna się odbudowywać na zapasowym dysku Hot Spare, który od tego momentu staje się pełnoprawnym członkiem macierzy.

Uszkodzenie drugiego dysku z RAID spowodowało wykorzystanie piątego dysku ustawionego wcześniej jako Hot Spare

Jak widać powyżej, w teorii wszystko wygląda pięknie. Pytanie zatem, gdzie jest haczyk.

Otóż cechą (bo trudno to nazwać wadą) tego rozwiązania jest fakt, że miejsce, które może oferować dysk Hot Spare -  z racji tego, że pozostaje on w zapasie - jest dla nas niedostępne. Tym samym, w macierzy składającej się np. z 5 dysków twardych, przez użycie RAID'a tracimy jeden lub dwa dyski pojemności (w zależności od wybranego trybu RAID) oraz minimum jeden dysk na Hot Spare. Końcowo może się okazać, że pięciodyskowa macierz oferuje nam sumaryczną pojemność dwóch, lub trzech dysków. To jest ten haczyk. Hot Spare zwiększa bezpieczeństwo kosztem dodatkowej utraty pojemności.

Powstaje zatem pytanie, po co w ogóle wdrażać omawiany mechanizm skoro tracimy przez niego cenne miejsce. Uszkodzony dysk w macierzy można przecież wymienić ręcznie.
Jedynym zastosowaniem dla tego typu rozwiązania - przynajmniej wg mnie - są środowiska profesjonalne, czyli tam gdzie liczy się minimalizacja czasu ryzyka wystąpienia awarii kolejnego dysku oraz utraty danych. Z punktu widzenia firmy należy rozważyć, czy większym problemem dla niej będzie wydanie dodatkowych pieniędzy na zapasowe dyski, czy ewentualne zwiększenie ryzyka utraty danych. Tutaj w grę wchodzi szacowanie ryzyka i każda firma (lub osoba) powinna indywidualnie to rozważyć.
Jezeli to my szacujemy ryzyko, to powinniśmy pamiętać o tym, że serwer lub macierz, są na ogół zamknięte w szafie serwerowej i nie patrzymy na niego całymi dniami. Jeżeli więc jeden z dysków padnie to może się zdarzyć, że ten fakt pozostanie niezauważony (a jeżeli jesteśmy kierownikiem jednoosobowego działu IT przebywającym na urlopie, to na 90% nie będziemy o tym wiedzieć).
Wówczas awaria kolejnego dysku wiąże się dla nas z niedostępnością serwera, utratą danych i (w najlepszym przypadku) rozpoczęciem procedury przywracania danych z kopii zapasowej.

Dysk Hot Spare w Synology 1513+

W tym przypadku zaprezenuję konfigurację dysku Hot Spare na macierzy Synology 1513+, która posiada 5 zatok z zamontowanymi już dyskami twardymi. Dyski nie są w żaden sposób skonfigurowane (nie ma na nich RAID'a, lub LUN'a).

Nie skonfigurowane dyski w macierzy

Chcąc ustawić dysk Hot Spare należy wejść w menu Hot Spare i tam spośród dostępnych urządzeń wybrać to, które ma pełnić rolę dysku zapasowego.

Zaznaczenie dysku nr 5 do funkcji Hot Spare

Potwierdzenie wyboru klawiszem Zastosuj w zasadzie kończy procedurę dodawania dysku Hot Spare. Pozostaje tylko zdefiniować grupę dysków (czyli RAID) i już mamy macierz na której jest skonfigurowany RAID z dyskiem Hot Spare.

Przegląd konfiguracji dysków w Synology 1513+. Widoczne są 4 używane dyski z 1 dyskiem Hot Spare

Oczywiście powyższą procedurę można przeprowadzić odwrotnie, czyli najpierw ustawić tryb RAID (pamiętając o pozostawieniu wolnego dysku dla Hot Spare), a dopiero potem zdefiniować wolny dysk do roli zapasowego. Tutaj nie ma jakichś wskazań lub przecwiwskazań, co do kolejności postępowania.

Dysk Hot Spare w serwerze DELL R720xd

W tym punkcie zostanie opisana konfiguracja dysku Hot Spare w serwerze Dell R720xd wyposażonym w kontroler RAID PERC H710P Mini. Różnica, w stosunku do przykładu z macierzą Synology polega na tym, że serwer posiada już skonfigurowany RAID w dwóch grupach dysków. Pierwsza grupa składa się z 2 dysków po 146GB ze skonfigurowanym trybem RAID 1, zaś druga grupa składa się z 4 dysków po 600GB ze skonfigurowanym trybem RAID 10.
Taka konfiguracja skutkuje tym, że nie można użyć jednego dysku Hot Spare dla obydwu grup, gdyż - jak to w RAIDzie bywa - dyski powinny być identyczne.

Dwie grupy dysków bez skonfigurowanych Hot Spare

W tym przypadku został zakupiony dysk identyczny jak zamontowane w grupie drugiej (czyli 600GB), więc celem jest dołożenie i skonfigurowanie dołożonego dysku jako Hot Spare dla tej właśnie grupy.

Po zainstalowaniu dysku, kontroler go rozpoznał i umieścił w gałęzi Unconfigured Physical Disks.

Dysk twardy zamontowany w serwerze, ale jeszcze nie skonfigurowany

Następnie należy zaznaczyć grupę dysków do której ma zostać dołączone zapasowe urządzenie i nacisnąć klawisz F2 powodując wyświetlenie menu operacji jakie można na tej grupie wykonać. Spośród dostępnych opcji należało wybrać Manage Ded. HS

Menu operacji dostępnych dla zaznaczonej grupy dysków

Wybranie opcji Manage Ded. HS spowodowało wyświetlenie listy dostępnych dysków, które mogą zostać wybrane do skonfigurowania jako zapasowe. W tym przypadku wyświetlony został tylko jeden dysk - ten który został dołożony do serwera.

Pole wyboru dysków z przeznaczeniem jako Hot Spare dla grupy dysków

Jego zaznaczenie i potwierdzenie klawiszem OK skutkuje pozytywnym zakończeniem operacji dodawania dysku Hot Spare do istniejącej grupy dysków.

Dysk Hot Spare skonfigurowany jako zapasowy dla drugiej grupy dysków

Informacja z logów systemu iDrac 7 o dodaniu dysku Hot Spare

Dysk Hot Spare w leciwym serwerze IBM xSeries 235

Powyższe rozwiązania pokazywały podłączenie dysku Hot Spare w dedykowanych środowiskach, np. na macierzy poprzez DSM, lub w serwerze DELL poprzez iDrac. Prawie zawsze jednak istnieje możliwość ustawienia zapasowego dysku poprzez aplikację w systemie operacyjnym. Tutaj posłużę się przykładem leciwego serwera IBM xSeries 235 w którym utworzony jest dysk logiczny zbudowany z trzech dysków fizycznych. Do niego zostanie dołożony jeden dysk fizyczny jako Hot Spare.

A więc wkładamy fizyczny dysk do serwera i uruchamiamy aplikację zarządzającą kontrolerem RAID.

Widać, że system wykrył nowy dysk i oznaczył go jako Ready. Można zwrócić uwagę, że wyżej w drzewie jest gałąź Hot-Spare drives, która jest pusta.

Dołożony dysk został rozpoznany i ustawiony jako Ready

Aby ustawić dysk jako zapasowy wystarczy kliknąć na nim prawym klawiszem myszy i wybrać jedną spośród dostępnych opcji:

• Create hot-spare drive,
• Create standby hot-spare drive.

Po wybraniu pierwszej opcji dysk pracuje non stop i jest w stanie natychmiastowej gotowości do użycia, zaś  dzięki drugiej dysk jest gotowy, ale wygaszony (talerze się nie kręcą itd.) i w tym stanie oczekuje na wybudzenie i użycie. 

Ja wybrałem drugą opcję, tak aby zapasowy dysk niepotrzebnie się nie kręcił i nie zużywał prądu. 

Po kilku sekundach stan dysku się zmienił na Standby hot spare oraz w drzewie opcji, w gałęzi Hot-spare drives pojawił się dołożony dysk. 

Dysk dodany jako Standby hot spare

Skoro mamy już dysk zapasowy zamontowany, można spróbować wyjąć jeden z dysków macierzy i zobaczyć, czy kontroler użyje dysku Hot spare do jej odbudowy. 

Niniejszy test jest przeprowadzany na nieprodukcyjnym serwerze. Nie zalecam jakichkolwiek ryzykownych działań z macierzami w serwerach produkcyjnych.

W tym przykładzie usunięty zostaje dysk oznaczony jako ID 0. 

Dysk ID 0 widoczny jako uszkodzony, zaś dotychczasowy dysk Hot Spare ID 3 został wykorzystany do obudowy macierzy

Jak widać, macierz od razu wykryła nienormalny stan o czym zostaliśmy poinformowani wieloma wykrzyknikami. Dysk ID 0 został przekreślony na czerwono, zaś dotychczasowy dysk zapasowy (ID 3) otrzymał status Rebuilding oznaczający, że kontroler użył go do odbudowywania macierzy. Stan odbudowy można zauważyć na dolnym pasku okna z informacją "31% Rebuilding controller 1, logical drive1".

Ostatnim krokiem jest zrobienie porządku w programie poprzez usunięcie uszkodzonego dysku lub zastąpienie go nowym i oznaczenie tego w aplikacji.

Jednym słowem, w praktyce wszystko odbyło się tak jak oczekiwaliśmy w teorii .

Podsumowanie, czyli parę słów na koniec

Jak wspomniałem powyżej, planując wdrożenie Hot Spare spotkać się musi księgowy z informatykiem aby rozważyć, z jednej strony dodatkowy koszt, zaś z drugiej strony, większe bezpieczeństwo.
Jeżeli zapadnie decyzja o dołożeniu zapasowych dysków, to sam proces - jak przedstawiono powyżej - nie należy do zbyt skomplikowanych i można go wykonać przed utworzeniem macierzy RAID (jak pokazano na przykładzie 1513+) lub obok już istniejącej (jak w przypadku serwera Dell R720xd i IBM xSeries 235).

Jeżeli coś jest niejasne, albo wszystko jest jasne :) to czekam na komentarze z naganą / pochwałą :)