sobota, 30 kwietnia 2011

Duże biblioteki

Serwerownie, szczególnie te największe, to miejsca gdzie znajduje się wiele różnego rodzaju urządzeń, z których większość jest dość sporawych rozmiarów. Są jednak pewne elementy  wyróżniające się gabarytami nawet wśród szaf pełnych serwerów czy macierzy załadowanych dyskami. Najwięcej miejsca i największe wrażenie swoimi gabarytami robią biblioteki taśmowe z segmentu hi-end, długie czasem na kilkanaście szaf , z robotami poruszającymi się w środku i z oknami umożliwiającymi obserwację ich pracy, stanowią dość intrygujące elementy infrastruktury datacenter.

Czym jest biblioteka taśmowa?

Jest to jedno z urządzeń wchodzących w skład środowiska backupowego wykorzystującego taśmy magnetyczne. Taśma magnetyczna, jako nośnik danych przeżywa ostatnio duży kryzys . Co prawda jest jeszcze bardzo popularna, a sama technologia ciągle rozwijana ( np: w 2010r został wprowadzony standard LTO5 pozwalający na przechowanie 3TB danych na 1 taśmie), ale coraz więcej firm uznaje ją za rozwiązanie przestarzałe i wybiera metody backupu wykorzystujące dyski twarde i deduplikację lub najnowsze rozwiązania wykorzystujące składowanie do tzw. chmury.
Sama filozofia wykonywania składowania na taśmę jest bardzo prosta. Serwer backupu wysyła strumień danych, który następnie jest przesyłany (bezpośrednio lub np: z wykorzystaniem sieci SAN) do napędu taśmowego, a ten z kolei zapisuje te dane na taśmę magnetyczną. Na tym w sumie koniec filozofii z backupem na taśmy, gdyby nie fakt, iż samo ładowanie i rozładowywanie napędu z taśmy musi być wykonywane ręcznie. Przy małym wolumenie i pojedynczym napędzie nie stanowi to problemu, ale gdy ilość taśm osiągnie wielkość setek (lub tysięcy), a napędów kilkunastu to wymagane jest zautomatyzowanie sposobu dostarczania i przechowywania nośników. Rozwiązaniem tego problemu jest właśnie biblioteka taśmowa. Składa się ona zwykle z jednostki sterującej, kieszeni( slotów) w których umieszczane są nieużywane w danym momencie taśmy, jednego lub więcej napędu taśmowego oraz robota ( zwanego także accessorem lub pickerem), którego rolą jest podawanie taśm do napędów i odkładanie ich do slotów po zakończonym odczycie/zapisie. Jeżeli chodzi o rozmiary bibliotek, to są one najróżniejsze - od malutkich "pudełeczek" o wielkości 4U i pojemności kilkunastu taśm, do prawdziwych gigantów mających po kilkadziesiąt metrów i dziesiątki tysięcy slotów na nośniki.

Jak jest zbudowana biblioteka taśmowa?

Zdecydowana większość bibliotek posiada te same elementy składowe. Przede wszystkim są to tzw.: sloty , czyli „półeczki „ na których leżą tasiemki , kolejną częścią, która jest integralną składową każdej biblioteki jest robot, zwany także czasem picekrem lub accessorem , a którego zadaniem jest transport kasetek między slotem a napędami. Ostatnia część znajdująca się w każdej bibliotece to napęd taśmowy, którego ilość waha się od jednego w najmniejszych modelach do kilkudziesięciu w tych największych.
Oprócz tych trzech podstawowych elementów, które znajdują się w każdej bibliotece taśmowej, zdecydowana większość modeli posiada także inne urządzenia, zapewniające dodatkowe funkcjonalności. Najczęściej spotykane to:
  • Podajnik na kasety (Mail slot , CAP , I/O Station) - jest to miejsce, dzięki któremu można dokładać i usuwać taśmy z biblioteki, bez potrzeby jej zatrzymywania. W mniejszych modelach może to być coś w stylu szufladki ze slotami , większe posiadają duże podajniki wbudowane w drzwi i mieszczące po kilkadziesiąt kaset naraz.
  • Konsola - umożliwiająca bezpośrednią diagnostykę i sterowanie biblioteką. Czasem jest to tylko mały ekranik LCD i dwa przyciski, w większych modelach mogą to być osobne dedykowane serwery ze specjalnie przygotowanym oprogramowaniem.
  • Zatoka serwisowa - tą funkcjonalność mają tylko największe z bibliotek. Zwykle ich krańcowe części mogą być fizycznie odizolowane od reszty i służyć do serwisowania robotów bez potrzeby wyłączania całej maszyny.

Duże biblioteki?

Najpierw słowem wyjaśnienia, co uznajemy za "dużą" bibliotekę. Jednym z głównych kryteriów jakimi się kierowałem była sama wielkość biblioteki - musi być skalowalna poza jedną szafę. Dodatkowo najlepiej, aby oferowała funkcjonalności dostępne dla rozwiązań HA (High Availability) czyli np: redundantnego robota, ale nie był to dla mnie wymóg twardy.
Ogólnie opisane zostaną następujące modele:

IBM:
  • 3494
  • TS3500
Oracle/Sun:
  • SL8500
  • SL3000
  • 9310
Spectra Logic:
  • T-Finity

IBM:

Hi-endowe biblioteki IBMa ( czyli model 3494 i jego następca TS3500) mają typową architekturę jaka jest stosowana dla tego typu rozwiązań. Jest to liniowy układ z szafą serwisową na początku i szafami ze slotami i napędami sukcesywnie dołączanymi jeden obok drugiego podczas rozbudowy bibliotek. Ciekawie załatwiona jest sprawa zapewnienia wysokiej dostępności. Sam robot w tych modelach może być zaopatrzony w podwójny chwytak (gripper) - wykorzystanie tego mechanizmu wiąże się z wadami i zaletami. Wadą jest ograniczenie pojemności biblioteki, gdyż użycie dwóch gripperów w jednym robocie powoduje, że najwyższe dwa rzędy na kasetki w każdej szafie są niedostępne i muszą być zaślepione. Co do zalet to oczywiście poprawiona jest dostępność danej biblioteki, nawet w przypadku uszkodzenia jednego z chwytaków, robot pozostaje sprawny; dodatkowo nieco zwiększa się szybkość montowania kasetek - jeżeli w napędzie już załadowana była taśma, to robot zamiast rozładować przewijak, a następnie pobrać i załadować nową taśmę, robi to w jednym ruchu wykorzystując obydwa chwytaki. Dodatkowo, oprócz zapewnienia sobie redundancji w obrębie pojedynczego robota, można dokupić "pełną" funkcjonalność HA pod postacią dodatkowego pełnego robota i drugiej zatoczki serwisowej. W takim przypadku dodatkowy „service bay” instalowany jest na drugim końcu biblioteki. Rozwiązanie takie ma kilka zalet zwiększających dostępność i niezawodność biblioteki poprzez zwiększenie jej "odporności" na błędy. Po pierwsze mamy dwa roboty, w razie awarii jednego z nich, drugi delikatnie "dopchnie" go do zatoczki  serwisowej i sam zacznie obsługiwać całą bibliotekę. Drugi bonus, który jednak występuje jedynie w starszej bibliotece czyli 3494 to zdublowanie jednostek sterujących biblioteką (tzw: Library Managerów), które wbudowane są w tył szaf serwisowych ( gwoli ciekawostki: system operacyjny na którym działają Library Mangery to OS/2). Po takim zdublowaniu obydwie jednostki łączą się w klaster i w razie awarii jednej z nich system automatycznie (w teorii) przełączy się na pozostałą.
Obydwie biblioteki (3494 i TS3500) obsługują wywodzące się z mainframów napędy IBMa - Jaguary, które w najnowszej generacji 3 potrafią zapisać do 1TB (nieskompresowanych) danych. Nowszy model TS3500 (zwany także Anaconda) obsługuje również napędy LTO, aż do najnowszej wersji 5. Całkiem nowatorskim rozwiązaniem (i to na skalę globalną) wykorzystanym w TS3500 są szafy o podwyższonej gęstości (HD - High Density) - taśmy znajdują się w takiej szafie w kilku warstwach jedna za drugą. Dla taśm LTO ilość warstw jest równa 5, dla taśm z Jaguarów 4. Co prawda szybkość dostępu do kasetek z takiej szafy zmniejsza się, ponieważ robot musi wyciągnąć wszystkie taśmy z warstw wcześniejszych w danym slocie, ale utrudnienie to zniwelowane o wiele większą pojemnością danej szafy, w której mieści się grubo ponad 1000 taśm ( dokładnie 1320 dla LTO).
Jeżeli chodzi o porównanie bibliotek 3494 i TS3500, to oprócz dodatkowych funkcji takich jak wsparcie dla LTO, czy szafy HD , nowa biblioteka jest znacznie lepiej diagnozowalna i udziela większej ilości informacji o swoim działaniu i potencjalnych uszkodzeniach. 3494 - uczy pod tym względem człowieka cierpliwości, sygnalizując wystąpienie błędu, ale nie informując w wielu wypadkach, na jakim komponencie.

Oracle/Sun

W zasadzie biblioteki opisane w tym akapicie nie są ani firmy Oracle ani Sun, ale StorageTek ( z wyjątkiem 9310). Dwie z nich cały czas są w sprzedaży,  natomiast trzecia 9310 jest już rozwiązaniem niewspieranym, natomiast na tyle oryginalnym, że wartym chociażby krótkiej wzmianki. 
Zacznijmy od najstarszej konstrukcji, czyli biblioteki 9310 Powderhorn - jest to konstrukcja o tyle inna od pozostałych, że ma kształt oktagonu, którego boki są ścianami ze slotami i napędami. Całość obsługiwana jest przez jednego robota poruszającego się ruchem obrotowym. Kolejnym rozwiązaniem wyróżniającym 9310 od innych bibliotek jest moduł LMU (Library Management Unit), który odpowiada za komunikację między hostem a robotem (polecenia montowania/odmontowania kasetek do napędów) - moduł ten jest w 9310 oddzielną jednostką i nie musi być w tym samym miejscu, co reszta biblioteki.
Po chwili spędzonej w "muzeum" możemy zająć się bardziej aktualnymi okazami ze stajni Oracle, czyli modelami SL3000 i SL8500. Najpierw ten pierwszy, jako znacznie mniej ciekawszy.
SL3000 -  w zasadzie o tej bibliotece nie da się powiedzieć nic specjalnego. Standardowy liniowy układ i prosty tor, po jakim poruszają się roboty. Sama biblioteka jest skalowana aż do 12 modułów – szaf i ma możliwość zastosowania do 2 robotów ( zwanychtutaj tallbot lub t-bot). Z powodu swoich gabarytów i pojemności, oraz rozwiązań HA (High Avilabilty) można zaliczyć ją do bibliotek dużych , ale nie ma w niej nic ponadto co wyróżniało by ją od typowych modeli tego segmentu.
SL8500 - dość ciekawe rozwiązanie o nietypowej konstrukcji. Sama biblioteka jak i pozostałe ( z wyjątkiem 9310) ma budowę modułową. SL8500 posiada jednak tylko jeden moduł będący odpowiednikiem racka serwisowego. Nazywany on jest w tym modelu CIM (Customer Interface Module) i jest znacznie szerszy (jak i cała biblioteka) od typowej szafy bibliotecznej - Spowodowane jest to tym, iż znajdują się w nim obydwa końce toru, po którym poruszają się roboty, a dodatkowo jeszcze pomiędzy nimi znajduje się konsola do sterowania i monitorowania pracy biblioteki. Oczywiście obecność obydwu zakończeń toru ruchu robotów w jednym module wskazuje, że kształt tego toru nie jest standardowy- w przypadku SL8500 jest on podobny do litery U z początkiem i końcem właśnie w części CIM. Na drugim końcu biblioteki mamy moduły DEM (Drive & Electornics Module) i RIM (Robot Interface Module) - w DEM możemy umieścić do 64 napędow, a RIM jest miejscem gdzie tor ruchu robotów zakręca i zawraca. Pomiędzy CIMa a RIMa dokłada się szafy ze slotami( SEM - Storage Expansion Module).
Sam kształt toru po jakim jeżdżą roboty nie jest jedynym wyróżnikiem SL8500 , sama ich ilość także jest nietypowa. W tej bibliotece standardowo znajdują się 4 roboty (zwane h-botami), a jeżeli interesuje nas wersja HA (High avaliability) to liczba ta rośnie do 8. Wynika to z architektury samej biblioteki gdzie tor ruchu nie jest "pojedyńczy" ale składa się z czterech równoległych "szyn", rozłożonych równomiernie jedna nad drugą na całej wysokości biblioteki. Każda z takich "szyn" jest torem dla jednego robota (lub dwóch w wersji HA) i każdy z takich robotów ma dostęp jedynie do 1/4 slotów znajdujących się w bibliotece oraz tylko to tych napędów, które znajdują się na odpowiedniej dla niego wysokości. Same roboty są oczywiście dużo mniejsze niż te występujące w innych bibliotekach klasy "hi-end". Takie poziome podzielenie jednej jednostki na cztery niezależne części ma oczywiście swoje zalety, z których kluczową jest przyśpieszenie czasu podmontowania/zdemonotania taśm wynikające z faktu, że naraz pracuje 4 lub nawet 8 robotów. Minusem jest duża komplikacja i wydłużony czas obsługi żądania,  gdzie kasetka znajduje się w "domenie" innego robota niż tego który obsługuje jej miejsce docelowe (np: wolny napęd). W takim przypadku kasetka musi zostać zawieziona do tzw.: windy (które znajdują się niedaleko modułów CIM), następnie tą windą poruszającą się jedynie w kierunku góra-dół zwieziona na odpowiednią warstwę i stamtąd pobrana przez drugiego h-bota który zawiezie ją do celu.
Sama biblioteka po maksymalnym rozbudowaniu ( do 5 modułów SEM) mieści w sobie do około 10.000 taśm i może mieć do 64 napędów.  To jednak nie wyczerpuje możliwości. Biblioteki SL8500 można łączyć ze sobą tworząc tzw.: kompleks. Poszczególne SL8500 stawia się równolegle do siebie i łączy ze sobą za pomocą specjalnych przejściówek PTP - "pass-thru" port. Maksymalny wspierany przez Oracle kompleks składa się z 10 SL8500, co daje sumarycznie możliwość stworzenia jednej gigantycznej biblioteki zawierającej 100.000 taśm, ponad 600 napędów i do 80 robotów. Wykorzystując standard LTO5 w takim "kolosie" możemy przechować do 150PB danych (300PB licząc standardową kompresję 2:1). Problematyczny, w przypadku tak dużego tworu, staje się czas , jaki jest potrzebny na podmontowanie taśmy - w najgorszym przypadku droga taśmy do napędu wiedzie przez kilka bibliotek, portów PTP (które mają ograniczoną pojemność) i windy. 

Spectra Logic - T-Finity

I na zakończenie najbardziej egzotyczna, przynajmniej dla mnie, konstrukcja. Niestety w przeciwieństwie do innych opisanych tutaj modeli nie miałem z nią styczności bezpośrednio, dlatego bazuję na materiałach dostępnych w Internecie, ale wydaje mi się ona na tyle interesująca, a ponadto mało znana, że chciałbym o niej wspomnieć.
Biblioteka T-Finity jest biblioteką o architekturze liniowej. Pierwszym wyróżnikiem jest ilość modułów, o jakie możemy ją rozbudowywać aż 25. Powoduje to, iż jest to największa z dostępnych na rynku bibliotek. Kolejną cechą i rozwiązaniem według mnie rewolucyjnym jest technologia, w jakiej przechowywane są taśmy - coś podobnego występuje w IBMowskich szafach HD (opisanych przy okazji modelu TS3500) ale w T-Finity jest to po pierwsze standardem, a po drugie występuje pod inną(efektywniejszą) postacią. W czym rzecz, otóż w innych bibliotekach taśmy spoczywają w slotach (szufladkach) znajdujących się w szafach/modułach i tworzących na nich coś w stylu "siatki" z kolumnami i wierszami. IBMowska szafa HD, w jednym slocie potrafi umieścić jedna za drugą  4 lub 5 kasetek (w zależności od ich typu),co kilkukrotnie zwiększa to pojemność takiej szafy, ale jednocześnie sprawia, że przed użyciem taśmy "z głębi" robot musi wyciągnąć i tymczasowo "poupychać" i innych slotach wszystkie taśmy jakie znajdują się przed nią. Rozwiązanie zastosowane w T-Finity opiera się na innym mechanizmie, w slotach nie umieszczane są tutaj kasetki, ale specjalne koszyki. 
Koszyk jest to zwykły plastikowy pojemnik, do którego mieści się 10 taśm. Robot posiada dwa rodzaje chwytaków, pierwszym z nich wyciąga cały koszyk ze slotu , drugi z wyciągniętego i trzymanego koszyka wybiera odpowiednią taśmę. Rozwiązanie tego typu ma kilka zalet. Po pierwsze w nawet w porównaniu do szafy HD, gęstość upakowania taśm jest znacznie większa. Po drugie, nie ma opóźnień związanych z wyładowywaniem wszystkich taśm z warstw wyższych, cały kosz wyciągany jest od razu i trzymany przez robota podczas całej operacji. Po trzecie - robot jest zdolny do przenoszenia 10 taśm za jednym razem, co znacznie przyśpiesza operacje wykonywane na grupie kaset.
 Z innych cech T-Finity, to podobnie jak dla SL8500 istnieje możliwość łączenia ich w kompleks - w tej chwili wspierane jest połączenie do 4 jednostek, co sumarycznie daje wielkość 130.000 taśm i pod względem wielkości deklasuje każde inne rozwiązanie. 
T-Finity posiada także wiele innychfunkcjonalności, których na próżno szukać u konkurencji . Wbudowana kontrola zużycia fizycznego taśm (MLM - Media Lifecycle Management) ostrzega nas gdy któraś z kasetek jest nadmiernie zużywana (zbyt dużo razy montowana lub np: nie używana od bardzo dawna) , podobny mechanizm kontroluje napędy (DLM - Drive Lifecycle Management).
Podsumowując T-Finity firmy Spectra Logic wygląda naprawdę imponująco, szkoda, że firma nie jest szerzej znana, przynajmniej w Polsce.

Podsumowanie:

Mimo uznawania przez wielu taśm magnetycznych za nośnik przestarzały i nieefektywny, cały czas mamy jeszcze do czynienia z dużymi środowiskami backupowymi ,opartymi właśnie na tej technologii. Taśmy są szczególnie popularne w organizacjach, które mają potrzeby czy wymogi składowania dużych ilości danych przez długie okresy czasu ( banki , firmy telekomunikacyjne itd...).
Dla tego rodzaju profilu przechowywanych danych, co do których dodatkowo jest bardzo mała szansa, że będziemy ich kiedykolwiek potrzbować( tzw: dane WORN - Write Once , Read Never) , taśma jest wciąż najbardziej ekonomicznym rozwiązanie. Dodatkowo, jeżeli wolumen danych jest naprawdę bardzo duży (dziesiątki petabajtów), nie ma innego spójnego rozwiązania, które mogłoby taką ilość informacji obsłużyć. 
Oczywiście technologia taśmowa i same biblioteki mają także wady. Po pierwsze są awarie, które powodują zatrzymanie pracy każdej biblioteki i to niezależnie od ilości redundantnych i wzajemnie dublujących się części - upuszczona przez robota taśma, stanowiąca przeszkodę na torze ruchu, powoduje unieruchomienie całego urządzenia, aż do czasu ręcznego usunięcia jej przez operatora. Uszkodzony czujnik w drzwiach błędnie sygnalizujący ich otwarcie, także uniemożliwia pracę biblioteki, która nie pozwoli na ruch robotom w takiej sytuacji. Duża liczba części mechanicznych, od których z jednej strony wymaga się wielkiej precyzji, a z drugiej pracy z dużymi prędkościami i przyśpieszeniami (np.: roboty, chwytaki itd...) także może stanowić potencjalne źródło awarii gdyż zużywają się one podczas eksploatacji.
Mimo tych ograniczeń backup na taśmy magnetyczne jeszcze długo będzie wykorzystywany w dużych organizacjach, a potężne biblioteki taśmowe dominowały w serwerowniach największych firm.



Artykuł ten inicjalnie pokazał się w czasopiśmie DataCenter Manager ( http://datacentermanager.pl/duze-biblioteki/ )


Brak komentarzy:

Prześlij komentarz