Backup Appliances - mega poradnik dla kupujących

Bardzo dobrym źródłem informacji o rynku pamięci masowych i backupu jest portal DCIG (http://www.dcig.com/). Znajdują się tam artykuły, wywiady oraz nowości z tego obszaru, ale najlepszym materiałem jaki tam można znaleźć są publikowane co kilka miesięcy tzw: "buyers guides". Są to darmowe (dostępne po rejestracji), bardzo obszerne (od kilkudziesięciu do kilkuset stron) opracowania i porównanie produktów z danej kategorii.

Około miesiąca temu pojawił się kolejny "poradnik" tym razem dotyczący urządzeń dedykowanych do backupu.
Można go znaleźć pod tym linkiem:
http://www.dcig.com/buyersguides/


Założenia:

Aby zostać zakwalifikowanym do porównania jako "backup appliance" urządzenie musiało spełniać następujące kryteria:

• Musiało być dostępne w sprzedaży jako fizyczne urządzenie ze zintegrowanym oprogramowaniem do wykonywania backup
• Musiało być w stanie przechowywać dane na storage podłączonym w modelu DAS,NAS lub SAN
• Musiało być dostępne w sprzedaży 1 lipca 2012

Urządzenia były oceniane w pięciu głównych kategoriach (Deduplication,Virtualization,Cloud,Hardware,Software) a każda z nich była punktowana w kilku elementach:

Deduplication:
Wszyskie opcje i funkcjonalności związane z deduplikacją danych.

• Deduplication (Czy jest?)
• License Included (Czy jej uruchomienie wymaga dotatkowej licencji)
• Dedupe Options (Na jakim poziomie (blok,plik) jest robiona)
• Dedupe Mehods (Jaka metoda (inline,post-process) deduplikacji jest używana)
• Dedupe Implementation Types (Jak deduplikacja została zaimplementowana)

Virtualization:
W jaki sposób applianc-e wspiera i integruje się ze środowiskami zwirtualizowanymi (głównie VMware)

• Natively Hosts Virtual OS (Czy OS urządzenia wspiera środowiska wirtualne)
• Virtual OS(es) (Jeżeli urządzenie może działać w środowisku zwirtualizowanym, jakie hypervisory wspiera - HyperV,VMware,Citrix)
• Backup SW Runes on VM (Czy można skonfigurować oprogramowanie urządzenia tak żeby działało na wirtualnej maszynie)
• Automatic VM Creation (Czy urządzenie jest w stanie tworzyć własne wirtualne maszyny)
• Recover and Host App on VM (Czy można odtworzyć aplikację na wirtualnej maszynie)
• VADP (Czy urządzenie wspiera vStorage API for Data Protection)
• VMware vCenter Server Integration (Czy urządzeniem można zarządzać z poziomu vCenter)
• Monitors Performance from vCenter (Czy można monitorować wydajność urządzenia i backupów z poziomu vCenter)
• Data Protection for Appliance (Czy urządzenie może zeskładować samo siebie)

Cloud:
A w jaki sposób wspiera składowanie danych do chmury

• 3rd Party Public Cloud Storage Providers (Czy urządzenie może składować do "chmury publicznej" zwenętrznego dostawcy np:Amazon)
• WAN Acceleration (Czy i jaka akceleracja przesyłania danych do chmury przez sieć WAN jest wspierana)
• Own Cloud Backup Service (Czy dostawca urządzenia ma własną "chmurę" do wykorzystania przez appliance)
• Encryption Methods (Jakie sposoby szyfrowania danych wspiera urządzenie)
• Encryption (Max) - (Jezeli wspierane - jaki jest najwyższy poziom szyfrowania udostępniany)
• Replication (Czy urządzenie wspiera replikację danych do chmury)

Hardware:
Kilka kryteriów związanych z samym sprzętem i jego możliwościami

• Back End Storage Connection (W jaki sposób do urządzenia można podłączyć storage/macierz)
• Intel Platform Management Interface (IPMI) (Czy urządzenie wspiera standard IPMI)
• Storage Networking Interfaces (Jakiego rodzaju interfejsy sieciowe np: 1/10Gb są wspierane przez urządzenie)
• Storage Networking Interfaces (Max) (Ile maksymalnie takich interfejsów może być)
• Storage Network Protocols (Jakie protokoły wymiany danych są wspierane)
• Concurrent FC/Ethernet Mix (Czy jednocześnie mogą być obsługiwane składowania po sieci Ethernet i SAN)
• Network Types Used to Backup VM (Jakie protokoły możemy wykorzystać do składowania maszyn wirtualnych)
• Dual Controllers (Czy urządzenie ma dwa kontrolery)
• Scale Out (Czy urządzenia można ze sobą łączyć, tak aby mogły pracować jako jedno o zwielokrotnionej wydajności)
• Raw Storage (Max) (Maksymalna ilość przestrzeni (surowej) jaką obsługuje dane urządzenie)
• Cache (Max) (Maksymalna ilość pamięci cache)
• RAID Levels (Jakie rodzaje RAIDów wspiera urządzenie)
• HDDs (Max) (Ile dysków HDD - wewnętrznych wspiera dane urządzenie)
• SSD Capactity (Max) (Analogicznie jak wyżej ale chodzi o maksymalną pojemność dysków SSD)
• Concurrent HDD/SSD Mix (Czy urządzenie wspiera jednoczesne użycie wewnętrznych dysków HDD i SSD)
• Tape Library (Czy wspierany jest backup/restore bezpośrednio z biblioteki taśmowej)
• Internal Tape Drive ( Czy urządzenie może mieć wewnętrzny napęd taśmowy)
• Removable Disk Storage (Czy urządzenie wspiera obsługę wymiennych pamięci dyskowych - takich jak np dyski RDX lub USB)
• Redundant Components (Jakie komponenty są redundantne i jeżeli są to czy są hot-swap)

Software:
Podobnie jak dla hardware, oprogramowanie badanych urządzeń także było "punktowane" w kilkunastu kategoriach.

• Management Interfaces (Lista sposobów zarządzania urządzeniem np: GUI, CLI, Web GUI itd...)
• Managament Methods (Jakie z trzech metod zarządzania: SMTP Notification, SNMP Logging and Notification, Syslog wspiera urządzenie)
• Performance Monitoring (Czy urządzenie pozwala monitorować wydajność składowań)
• PXE Preboot (Czy wspierany jest PXE  - Preboot eXectution Environment)
• Attack Types Protected (Przed jakiego rodzaju zagrożeniami urządzenie jest chronione)
• # Concurrent Backup Streams (Max) (Ile jednocześnie strumieni backupu może iść)
• Limit Number of Backup Streams (
• Operating Systems (Jakie systemy operacyjne wspiera urządzanie - czyt: z zasobów działających w jakich OSach urządzenie może robić kopie zapasowe)
• Internal Storage Capacity Alerting (Czy wspierana jest obsługa alarmów przy zblizaniu się do granicy pojemności)
• Backup Trending (Czy urządzenie potrafi pokazać trendy w ilości składowanych danych per klient/VM)
• Backup Scheduling (Czy można harmonogramować składowania)
• Server Prioritization (Czy urządzenie wspiera priorytetyzację wykonywania backupów np: pierwszeństwo dla systemu, który najdłużej jest bez kopii)
• File Selection and Exclusion (Czy można dodawać/wykluczać z backupu zasoby na poziomie pojedyńczego pliku)
• Concurrent Backups/Restores (Czy można jednocześnie wykonywać składowania i odtworzenia)
• Physical Recovery Type (Jakie są opcje odtwarzania maszyny fizycznej)
• Bare Metal Restore (Czy wspierane jest odtworzenie "bare metal")
• Replication to other location w/ like HW (Czy wspierana jest replikacja danych między dwoma identycznymi urządzeniami - jeżeli tak to jaki jest jej rodzaj)
• Replication Fan-in/Fan-out Options (Jeżeli replikacja jest wspierana to jakie są możliwości konfiguracji jej ilości źródeł i celów - np: 1:1 ; 1:N ; N:1 ; N:N)
• Compression (While Replicating) (Czy używana jest kompresja podczas replikacji) 
• Bandwidth Throttling (Replication) (Czy można ustawić limit na ilość danych replikowanych jednocześnie przez urządzenie)
• Concurrent Backup and Replication (Czy urządzenie potrafi jednocześnie wykonywać backup i replikować dane)
• Replication from Copy in 2nd Location (Czy urządzenie potrafi wykonać odtworzenie z kopii danych wysłanych do zdalnej lokacji)
• Backup Types (Jaki rodzaj backupów jest wspierany: pełne,inkrementalne,przyrostowe)
• Restore Types (Jaki rodzaj odtworzeń jest wspierany. Do wyboru: V2V (virtual to virtual), V2P (Virtual to physical), P2V (Physical to virtual), P2P (Physical to Physical) )
• Databases (Czy urządzenie umożliwia składowanie baz danych w online. Jeżeli tak to których)
• Applications (Czy urządzenie wspiera wykonywanie składowań aplikacji. Jeżeli tak to których  - np: Exchange,SharePoint)
• 3rd Party APIs (Czy dostawca udostępnił API dla swojego urządzenia)

---

Przetestowane modele:

Sprawdzona została cała masa rozwiązań od najróżniejszych dostawców.
Poniżej wymieniłem wszystkich uczestników porównania.

Arkeia:
http://www.arkeia.com/

Firma dostarczająca urządzeń dla małych i średnich firm oraz zdalnych oddziałów (Remote Office).
Jej appliance są proste w obsłudze i przystosowane do obsługi przez pracowników którzy nie są specjalistami w dziedzinie backupow.

DCIG sprawdził wszystkie cztery modele oferowane przez Arkeia:

R120 Backup Appliance

R220 Backup Appliance

R320 Backup Appliance

R620 Backup Appliance Porównanie techniczne: źródło:  http://www.arkeia.com/products/arkeia-network-backup/backup-server/physical-appliance Dell: www.dell.com http://www.sonicwall.com/ Ze "stajni" DELLa do kompedium załapały się dwa rodzaje produktów: Po pierwsze PowerVault DL2200 który jest przedstawicielem urządzeń typu Disk-to-Disk-to-Tape, które pozwala na wykonywanie kopii zapasowych na dyskach ( i ewentualnie później przenoszenie jej na taśmę). Druga rodzina produktów to grupa urządzeń firmy SonicWALL, która została przejęta przez Della w marcu tego roku.

PowerVault Backup to Disk DL2200

SonicWALL CDP 210

SonicWALL CDP 220

SonicWALL CDP 5040B

SonicWALL CDP 6080B Dokładne dane techniczne SonicWALL-i jest dostępne pod tym linkiem: http://www.sonicwall.com/us/en/products/CDP_Appliances.html#tab=compare Zgrubne porównanie zastosowania poszczególnych modeli: źródło:  http://www.sonicwall.com/us/en/products/CDP_Appliances.html#tab=overview EMC: www.emc.com Tej firmy nie trzeba przestawiać żadnej osobie działającej w branży storage&backup. Jeżeli chodzi o obszar backupów to EMC ma kilka produktów: NetWorker - aplikacja do backupu, DataDomain - sprzętowy deduplikator i VTL oraz Avamar - aplikacja do backupu i software deduplikator. Ten ostatni występuje także jako tzw: Data Store, czyli pod postacią appliance. DCIG uwzględnił 4 modele Avamar Data Store:

Avamar Data Store 1.3TB

Avamar Data Store 2.6TB

Avamar Data Store 3.9TB

Avamar Data Store 7.8TB Tak naprawdę to te 4 wersje różnią się wyłącznie wielkością przestrzeni dyskowej. Data Store ma budowę modułową - docelowe urządzenie może składać się 16 takich składowych węzłów. Więcej danych: http://www.emc.com/collateral/software/data-sheet/h3454-avamar-data-stores.pdf EVault: http://www.evault.com/uk/ EVault to firma, której właścicielem jest Segate, a skupia się na zagadnieniach związanych z backupem i archiwizacją. Następujące produkty zostały uwzględnione w kompedium backup appliance-ów:

Express Recovery Appliance (ERA)

Plug-and-Protect Appliance PNP1200XE

Plug-and-Protect Appliance PNP1200XV

Plug-and-Protect Appliance PNP300

Plug-and-Protect Appliance PNP600

Plug-and-Protect Appliance PNP600XE ERA to urządzenie które oprócz backupu oferuje także replikację do zewnętrznej chmury publicznej. "Plug and Protect" to grupa produktów których założeniem jest szybka i bezproblemowa konfiguracja. Porównanie technicznych parametrów poniżej: źródło:  http://www.evault.com/export/sites/www/uk/assets/pdf/spec-sheets/evault-plug-n-protect_A4_ss_uk_w.pdf Eversync: http://www.eversyncsolutions.com/ Kolejna firma działająca w obszarze backupu dla małych i średnich firm. Posiada jedną rodzinę produktów różniących się wielkością i wydajnością. DCIG sprawdził je wszystkie:

Eversync 1000

Eversync 1500

Eversync 2000

Eversync 2500

Eversync 4500

Everysync 9500 Dane techniczne i funkcjonalności zapewniane przez urządzenia: źródło:  http://www.eversyncsolutions.com/pdf/product-spec-sheet.pdf źródło:  http://www.eversyncsolutions.com/pdf/product-spec-sheet.pdf Lortu: http://www.lortu.com/ Slogan firmy jest prosty:  "Backup appliances with deduplication". Firma w portfolio ma trzy produkty:

LDA-1

LDA-2

LDA-Mini Jeżeli chodzi o zgrubny rzut oka na poszczególne modele: źródło:  http://www.lortu.com/ Quorum: http://www.quorumlabs.com/ Firma oprócz backupu zajmuje się także DR-em oraz rozwiązaniami opartymi na chmurze hybrydowej. Produkty sprawdzone przez DCIG to także bardziej urządzania do Disaster Recovery niż zwykłego backupu. W porównaniu uwzględniono następujące urządzania:

onQ-T10-1 Tower

onQ-T140-5

onQ-T260-13

onQ-T280-13

onQ-T288-20 Parametry poszczególnych produktów: źródło:  http://www.quorumlabs.com/onq-appliance RackTop: http://www.racktopsystems.com/ Kolejna firma w obszarze backup. Ta z bardzo rozbudowanym portfolio produktów z których DCIG wybrał 3 serie: EBR-L : Enterprise Backup & Recovery -Local (trzymanie lokalnie kopii danych) EBR-SC : Enterprise Backup & Recovery - Secure Cloud (kopia danych również w chmurze) EBR-FE : Enterprise Backup & Recovery - appliance oparty na ZFSie. Modele w porównaniu:

EBR-FE

EBR-L 1000

EBR-L 1800

EBR-L 2800

EBR-L 500

EBR-SC 100

EBR-SC 1000

EBR-SC 1800

EBR-SC 250

EBR-SC 2800

EBR-SC 500 DCIG pominął serię EBR-Ti (Titanium) o zwiększonej odporności mechnicznej. Simpaticorp: http://www.simpaticorp.com/index.php Rozwiązania Simpaticorp to hybrydowy storage mogący służyć zarówno jako primary jak i backup. Firma dostarcza trzy modele:

DR4

DR4 Enterprise

DRXpress O następujących  parametrach: źródło:  https://secure.simpaticorp.com/dr4.php STORServer: http://www.storserver.com/ W tej firmie mamy trzy serie backup appliance-ów do różnych zastosowań: Seria BA (Backup Appliance) Seria EBA (Enterprise Backup Appliance) Seria IR (Instant Restore) - do obsługi placówek regionalnych lub zdalnych Modeli jest wiele (szczególnie w serii EBA) i nie wszyskie zostały sprawdzone przez DCIG. W kompendium porównano następujące urządzenia:

BA851

EBA 1100

EBA 2100

EBA 3100

EBA 800

IR Series of Backup Appliances Więcej informacji i specyfikacje techniczne są dostępne na stronie producenta w dedykowanych pdf-ach: Seria EBA Seria BA Seria IR Symantec: http://www.symantec.com/index.jsp Tej firmy przedstawiać nie trzeba. Jeżeli chodzi o backup appliance to przetestowane zostały dwa modele, jeden oparty na oprogramowaniu Backup Exec, drugi na NetBackup-ie.

Backup Exec 3600 Appliance

NetBackup 5220 Backup Appliance Unitrends: http://www.unitrends.com/ Aż 10 produktów przetestowanych, niezła gromadka. Różnią się pojemnościami, możliwościami oraz wydajnością, w sumie każdy z tych modeli można przypisać do jednej z trzech linii: Small Business, Medium Business, Enterprise Level Uwzględnione urządzenia:

Recovery-172

Recovery-212

Recovery-312

Recovery-612

Recovery-712

Recovery-713

Recovery-813

Recovery-822

Recovery-823

Recovery-833 Zenith: http://www.zenithinfotech.com/ Firma bardziej kojarzona z tematem chmury niż backupu ma jednak w swojej ofercie jednego applianca:

Zenith Infotech BDR-G12

Wyniki:

DCIG prezentuje wyniki pod postacią listy produktów posortowanej pod względem ilości punktów (które otrzymywało się w kategoriach opisanych powyżej w tym wpisie). Dodatkowo urządzenia dostawały odpwiednią "rangę" : ENTERPRISE, Recommended, Excellent,Good, Basic.

Czołowe miejsca okupywały produkty jednej firmy: STORServer
Model EBA3100 jako jedyny otrzymał rangę ENTERPRISE, następnie na miejscu drugim znalazł się appliance Symanteca, kolejne trzy pozycje to pozostałe urządzenia STORServer z serii EBA. Na tym kończyła się ranga Recommended, oczko niżej w klasie Excellent mamy kolejnego Symanteca a następnie modele firm Unitrends, RackTop i EVault.


Podsumowanie:

Materiały dostarczane przez DCIG są naprawdę wysokiej klasy i bardzo kompleksowo podchodzą do badanego tematu. Osoby/firmy zainteresowane danym produktem na pewno bardzo skorzystają na takich "kompendiach". Z tego co można wyczytać na stronie DCIG szykuje właśnie "Buyer's Guide" dla macierzy "All flash" - będzie ciekawie :D

Clariion - zarządzanie SP,Modułami I/O i Portami

Kolejny wpis z serii przygotowujących do egzaminu na Clariion specjalistę. Poprzednio opisywałem zarządzanie dyskami, teraz skupimy się na pozostałych komponentach.


Zarządzanie Service Procesorem:

Jeżeli przejdziemy do menu System-->Hardware na danej macierzy po lewej stronie ekranu będziemy widzieli panel z grupą opcji związanych z zarządzaniem SP A i SP B:

Mamy tutaj kilka opcji związanych z zarządzaniem Service Procesorami. Z tego poziomu możemy przeładować kontroler, zebrać pliki Diagnostyczne (tzw: SPCollects), a także przeprowadzić kongfigurację właściwości sieciowych danego SP i zrobić bardzo podstawowy troubleshooting problemów związanych z siecią, za pomocą narzędzi ping i traceroute.

Po wybraniu opcji Properties otworzy się okno zawierajace osiem zakładek:

W zakłace General mamy podstawowe informacje o stanie kontrolera, firmware, nr seryjnym itd...
Pozostałe także zawierają pewne ogólne dane i statystyki - nic co wymagało by większego tłumaczenia. Jedynym miejscem gdzie warto zajrzeć jest zakładka Network

Możemy w tym okienku ustawić kilka spraw związanych z siecią:

• Management Port Settings - opcje związane z działaniem portu zarządzania SP
• Requested settings - z jaką prędkością i w jakim trybie chcemy żeby pracował (domyślnie: Auto)
• Link Status - a w jakim naprawdę pracuje
• SNMP Settings - ustawienia SNMP
• Enable/Disable processing of SNMP MIB read requests - włączenie wyłączenie obsługi SNMP dla tego kontrolera
• SNMP Community - tutaj można ustawić tzw: " SNMP Community String" czyli pewien rodzaj klucza, którym autentyfikować się muszą urządzenia, wymieniające się danymi poprzez SNMP.
• Virtual Port Properties - IP adres oraz tzw: VLAN ID naszego kontrolera. 

Po wybraniu przycisku "Properties" możemy przejść do kolejnego okienka z ustawieniami dotyczącymi sieci:

Tutaj dokonujemy wyboru podstawowych ustawień sieci: IP,Maska,Brama, dodatkowo możemy skonfigurować konroler do pracy w sieci IPv6. Te wielkości które tutaj ustawimy będą adresem sieciowym naszego SP (a tak bardziej szczegółowo portu sieciowego, do którego się będziemy podłączali, gdy trzeba będzie wykonać jakieś akcje na macierzy).
Clariion (od FLARE29) wspiera także wykorzystanie VLANów i tzw: VLAN Tagging.
Czym są VLANy nie będę tutaj opisywał, gdyż jest to jest dość podstawowe pojęcie z dziedziny sieci komputerowych - w razie potrzeby google bez problemu "pomoże" się dokształcić.
W każdym razie porty ethernetowe Clariiona (bądź te używane do zarządzania, jak właśnie opisywany, a takżę połączenia 1GbE i 10GbE do komunikacji iSCSI) mogą być wykorzystywane w sieci VLANowej. Fizyczne Porty iSCSI mogą także być podzielone na kilka portów wirtualnych, co pozwala na dobrą segregację ruchu do nich przychodzącego. Port zarządzający na SP nie może być w ten sposób podzielony, zresztą i tak nie było by powodu aby to robić.

Zarządzanie modułami I/O i portami:

Moduły I/O w najnowszych Clariionach noszą nazwe UltraFlex I/O.
Tak jak i wszystkie pozostałe komponenty sprzętowe Clariiona można je obejrzeć w sekcji System-->Hardware, gdzie w lewej części ekranu pokazane jest "drzewko", z pokazanymi zależnościami między poszczególnymi częściami macierzy. Środkowa część ekranu to schematycznie pokazana macierz, razem z zaznaczoną wybraną częścią. Ponieważ opisujemy moduły IO i wchodzące w ich skład porty tak więc na poniższym zrzucie ekranowym mamy zaznaczony właśnie ten komponent:

Aby dostać się do właściwości danego komponentu należy go zaznaczyć po czym wybrać przycisk "Properties".

Właściwości Front-End portu:

W zależności czy wybrany port jest portem FC czy iSCSI inne będą jego właściwości.

Port FC:

Podstawowe dane to WWN portu, Szybkość jego pracy (obecna, wybrana, maksymalna).
Oraz garść informacji o inicjatorach znanych temu portowi (czyli takich które się z nim już komunikowały).

Port iSCSI:

Jeżeli chodzi o informacje i opcje przedstawione na tym okienku, to mamy tutja możliwość definiowania adresu IQN dla portu iSCSI oraz jego aliasu. Możemy także sprawdzić MAC adres oraz ustawioną i obecną prędkość z jaką pracuje port. Opcja MTU(bytes) określa maksymalny rozmiar ramki iSCSI, jaka zostaje wysłana - jeżeli nasza sieć obsługuje tzw: jumbo frames to warto z tego skorzystać i ustawić MTU na większe niż 1500.
Dolna część okienka to wypis wszystkich wirtualnych portów zdefiniowanych dla tego fizycznego portu iSCSI. Clariion od FLARE29 (jak wspomniałem opisując właściwości sieciowe kontrolera) wspiera VLANy i VLAN tagging, można więc jeden port fizyczny zaprezentować jako kilka portów wirtualnych (każy w innym VLANie). Dodawanie i konfigurowanie tych portów odbywa się w okienkach które otwierają się po wciśnięciu przycisków Add i Properties. Nie różnią się one niczym od analogicznego okienka dotyczącego ustwień sieciowych kontrolera - podobnie wybieramy IP,maskę,bramę oraz ustawiamy VLAN ID.

Clariion umożliwia także wyświetlenie wszystkich portów i ich podstawowych konfiguracji poza "drzewkiem" sprzętu. Opcja Manage Data Ports jest dostępna po kliknięciu prawym przyciskiem myszy na daną macierz na liście (w okienku Dashboard-u) i wybranie opcji Port Management. Otrzymamy listę wszystkich portów na macierzy, razem z ich opisem, prędkością działania oraz adresami IP lub IQN

---

To tyle na temat zarządzania kontrolerem i portami.
W kolejnych wpisach zostajemy w temacie zarządzania poszczególnymi urządzaniami/bytami zdefiniowanymi na macierzy lub w jej "otoczeniu". Zaczniemy od tego w jaki sposób macierz widzi i zarządza korzystającymi z niej hostami.

Clariion - zarządzanie hardware (dyski)

Po naprawdę długiej przerwie wracam do tematu przygotowania do egzaminu na Clariion specjalistę. Szczerze powiedziawszy mam dość mieszane uczucia co do kontynuowania tego wątku, po pierwsze Clariiony to już zamknięta linia (choć ich następca VNX jest całkiem do nich podobny i podobnie się nim zarządza - przynajmniej jeżeli chodzi o storage blokowy), po drugie ostatnio całkowicie nie mam czasu, żeby porządnie skupić się na przygotowaniach.
Dość narzekania pora wziąć się do nauki, a co dalej będzie z tą serią wpisów to się zobaczy:

Zarządzanie dyskami w Clariionie:

Jednym z najważniejszych elementów w macierzy dyskowej jest oczywiście dysk. W zależności od wielkości danego urządzenia może ich być od kilkunastu do około tysiąca (i więcej).
W Clariionach informacje o tym komponencie można znaleźć w menu Storage-->Disks.  Wybór tej opcji otwiera okno gdzie mamy wylistowane wszystkie dyski jakie znajdują się w danej macierzy:
Dla każdego dysku wyświetlone jest kilka podstawowych informacji:

• Name (nazwa) ---> dany dysk jest identyfikowany za pomocą trzech liczb oznaczających po kolei: Pętlę (bus) na której znajduje się napęd, Półkę (enclosure) gdzie jest umieszczony i jego pozycję (Disk) na tej półce. 
• State (stan) ---> obecny  stan dysku
• Raw Capacity (Pojemność surowa) - ilość przestrzeni dostepna do wystawiania 
• User Capacity (Pojemność zużyta) - ilość przestrzeni wystawiona do LUNów
• LUN ID - nr LUNów które mają przestrzeń wystawioną z danego dysku
• LUN Type - Typ RAIDu w jakim jest dany dysk
• Hot Spare Replacing - Status dysku Hot Spare

Po wybraniu opcji "Properties" możemy zobaczyć szczegółowe informacje o wybranym napędzie. Dostępne są następujące dane:

Zakładka "General":

Tutaj mamy dużo więcej informacji o wybranym napędzie. Między innymi producenta, model, numer seryjny, wesja firmare itd...

Zakładka Errors:

Ilość błędów na dysku, z podziałem na te przy odczycie/zapisie oraz "miękkie" (soft) i "twarde" (hard).
Soft zwykle znaczy, że nie ma żadnego problemu z samym dyskiem, a jedynie coś się nie udało przy próbie zapisu lub odczytu. Błędy twarde zazwyczaj sygnalizują uszkodzenia samego dysku (np: bad sectory).

Zakładka Statisctics:

Pewne bardzo podstawowe dane wydajnościowe dotyczące pracy dysku. Ilość IOPSów oraz przepustowość, a także utylizacja dysku. Danych raczej mało i dostępny jest tylko "zrzut" stanu obecnego bez możliwości sprawdzenia histroii co raczej ograniczna efektywne wykorzystanie tych informacji.

Zakładka Power Settings:

Na tej zakładce mamy informację, czy dany dysk wspiera zarządzanie oszczędzaniem energii oraz czy jest ono włączone. Zarządzanie polega na zatrzymaniu ruchu obrotowego dysku, kiedy nie jest on używany, dzięki czemu nie zużywa prądu. Minusem jest to, że po odwołaniu się do danych na nim znajdujących najpierw musi wykonać "rozruch" i rozkręcić się do swojej prędkości pracy.

Oszczędzanie energii (Power Saving) dla dysków:
Opcję zarządzania energią dla dysków ustawia się na poziomie RAID grupy. Wszystkie napędy w danej grupie muszą wspierać tą funkcjonalność, aby można ją było uruchomić. Jeżeli jest włączona, mechanizm zatrzyma dyski jeżeli przez czas 30 minut nie będzie do żadnego z nich skierowane żądanie I/O. Po zatrzymaniu dyski potrzebują ok 15sekund na ponowne uruchomienie.
Dodatkowymi warunkami (oprócz pół godzinnej nieaktywności) aby można było uruchomić tryb oszczędzania enterii jest aby, na żadnym LUNie z RAID grupy, nie była uruchomiona replikacja oraz żeby grupa nie zawierała metaLUNów.


Zarządzanie dyskami Hot Spare:
Dyski Hot Spare są to napędy skonfigurowane nie do przechowywania danych ale do zastępowania dysków uszkodzonych. Jeżeli w macierzy jeden z dysków ulegnie uszkodzeniu, to automatycznie na jego miejsce wskakuje rezerwowy "hot spare.
Zgodnie z "dobrymi praktykami" EMC w Clariionach na każde 30 dysków powinien być jeden "hot spare" przy czym rolę tą może pełnić każdy napęd, wyjątkiem są dyski EFD(SSD) które mogą być hot spare tylko dla innego dysku EFD. Pozostałe "dobre praktyki" przy konfigurowaniu dysków HS, to rozmieszczanie ich na tych samych pętlach (Bus) co dyski, które będą one chroniły, a także stworzenie co najmniej jednego HS dla każdego typu (rodzaj, prędkość, pojemność) dysku jaki mamy w macierzy.

Dyski HS w Clariionach są globalne, tzn: nie da się ich przypisać do takiego napędu grupy RAID, LUNa czy pojedynczego dysku która będą chroniły. Każdy HS chroni całą macierz i wszystkie napędy (oczywiście jeżeli jest w stanie - czyli ma odpowiednią wielkość i nie jest dyskiem SSD).

Sytuacje w których dysk HS zastępuje zwykły można podzielić na trzy kategorie:

• Uszkodzenie dysku
• Zainicjowanie proaktywnej wymiany automatycznie przez macierz (FLARE)
• Zainicjowanie proaktywnej wymiany manualnie przez administratora (poprzez GUI lub naviseccli)

Pierwsza sytuacja tłumaczy się sama przez się. W drugiej dysk który zostaje zastąpiony HSem działa sprawnie, jednak na podstawie pewnych przesłanek - przekroczenia pewnych progów alarmowych - macierz uznaje go za napęd zagrożony i przeprowadza proaktywną wymianę. Trzeci wariant to oczywiście decyzja administratora. 

Między uszkodzeniem a proaktywnymi wymianami jest jedna podstawowa różnica. Po awarii dane na dysku są niedostępne, dlatego aby HS mógł go zastąpić musi nastąpić proces odbudowy (rebuild) - zachodzi to automatycznie i wykorzystuje nadmiarowość zapewnianą przez struktury RAID. W przypadku najpopularniejszych RAID5 i 6 odbudowa to rekalkulacja danych wykorzystując kody parzystości. Jest to proces obciążający macierz i dość czasochłonny (szczególnie w przypadku dużych dysków SATA).
Prędkość odbudowy zależy od następujących czynników:

• Wielkość dysku
• Rodzaj dysku (SATA,SAS,FC, itd...)
• Ilości przestrzeni zajętej (przypisanej do LUNów)
• Priorytetu odbudowy (od ASAP do Low)
• Obciążenia macierzy (ilości IOPSów)
• Typu RAID w którym jest uszkodzony dysk
• Wielkości grupy RAIDowej (dotyczy R5 i R6)
• Rozłożenia dysków na pętlach FC w macierzy

W odróżnieniu do uszkodzenia, proaktywna wymiana nie wymaga odbudowy, a jedynie przekopiowania zawartości (dysk zastępowany przez "Hot spare" ciągle działa). Generuje to zdecydowanie mniejsze obciążenie macierzy.

Aby zainicjować zastąpienie dysku przez Hot Sprare należy kliknąć w dany dysk na liście i wybrać opcję: "Copy to Hot Spare"

---

Kolejnymi tematy z cyklu "clariionowych" będą o zarządzaniu pozostałymi komponentami sprzętowymi.

Macierze "solid state" - demony prędkości (Część 3 - Nieco więcej technikaliów)

W poprzednich częściach dotyczących dysków SSD oraz macierzy wyłącznie z nich zbudowanych ("Solid state arrays") opisaliśmy podstawy tej technologii oraz firmy, które w tej branży działają. Teraz chciałbym wejść trochę głębiej w mechanizmy działania tego typu urządzeń.

Jak zbudowany jest dysk SSD

Dysk SSD jaki jest każdy widzi -główna różnica między nim a jego "tradycyjnymi kolegami" polega na braku mechanicznych obracających się części (talerze, głowica). Z tego powodu dyski SSD są ciche, niezawodne i zużywają mało energii.

Gdyby otworzyć obudowę dysku i spojrzeć do środka można by wyróżnić następujące komponenty

• Kontroler
• Interfejsy I/O
• Pamięci Flash

Kontroler:

Czyli mózg dysku SSD, odpowiada zarówno za wszyskie "podstawowe" operacje na pamięci flash (zapis/odczyt/skasowanie) jak i za komunikację dysku ze światem zewnętrzny, a także zarządza wszyskimi specjalnymi funkcjami które są specyficzne dla technologii SSD jak np: TRIM czy Garbage Collection (o których będzie później). Sam kontroler to prosty procesor 16 lub 32 bitowy.

Najbardziej znane firmy produkujące kontrolery SSD to:

• SandForce (wykupiony z początekiem roku przez LSI)
• Indilinx (zależny od OCZ)
• JMicron
• Marvell

Udział w produkcji kontrolerów SSD mają także tacy giganci jak Intel i Samsung.

Interfejs I/O:

Układy łączące dysk ze światem zewnętrznym. Mogą występować w najróżniejszych standardach z których te najbardziej popularne to SATA,FC,SAS, 

Pamięci Flash:

Układy pamięci flash mogą być wykonane w dwóch technologiach: NAND i NOR, ponieważ jednak NOR-y są dużo wolniejsze, umożliwiają mniejsze upakowanie danych oraz cechują się mniejszą wydajnością tak więc praktycznie nie są używane przy produkcji flash-y.
Pamięci NAND możemy podzielić na takie które po pojedynczej komórce są w stanie przechować jeden bit danych (SLC) i takie które mogą ich przechowywać dwa (MLC) lub więcej (TLC). Bardziej szczegółowe informacje o tym podziale znajdują się w pierwszym wpisie dotyczącym SSD: LINK

Jak działa dysk SSD

Tak naprawdę chciałbym tutaj skupić się na kilku pojęciach związanych z dyskami SSD, a przy okazji ich opisu przedstawić także specyfikę działania tego typu napędów.

Te pojęcia to:

• Write Amplification
• TRIM
• Garbage Collection
• Wear Leveling

Write Amplification (WA):

Dyski SSD są dużo szybsze przy operacjach odczytu niż zapisu, a różnica w prędkości wykonywania tych działań może być nawet kilkunastokrotna. Odpowiedzialny za to jest sposób w jaki dysk SSD zapisuje dane.
Są dwie główne różnice w sposobie zapisu przed dysk tradycyjny i flashowy.
Po pierwsze dysk SSD nie może bezpośrednio nadpisać danych. Jeżeli jakaś komórka już zawiera informacje najpierw musi ona być wyczyszczona i dopiero potem można w niej pisać. Po drugie kontroler SSD nie jest w stanie wyczyścić danych z  pojedynczej komórki, musi to zrobić całą tzw: stroną, która ma ich od kilkunastu do kilkudziesięciu. W rezultacie po otrzymaniu polecenia zapisu, kontroler SSD musi odczytać zawartość całej strony, w której znajduje się blok do nadpisania (aby nie utracić przy czyszczeniu strony już zapisanych w niej bloków). Następnie strona zostaje wyczyszczona. Ostatni krok to ponowne zapisanie danych które wcześniej na niej rezydowały a także nowo zmienionego pojedynczego bloku (tak naprawdę działa to nieco inaczej ale to zostanie wyjaśnione w części poświęconej Garbage Collection, w tej chwili dla lepszego zrozumienia zostańmy przy opisanej powyżej wersji)
Współczynnik Write Amplification (WA) wynika z działania tego mechanizmu i określa ile razy więcej danych jest naprawdę zapisywanych na dysku SSD, w porównaniu do danych które zostały do niego "wysłane".
Oczywiście im więcej takich nadmiarowych zapisów trzeba robić, tym dłużej trwa ta operacja - jest to bezpośrednia przyczyna dużo mniejszej wydajności napędów przy zapisach (pojedynczy zapis jest tak naprawdę serią operacji R/W), dodatkowo im wyższe WA tym szybciej dysk się zużyje, gdyż więcej cyklów zapisu jest potrzebnych dla każdego pojedynczego żądania.
Kolejnym negatywnym efektem, jest fakt iż im więcej danych jest na dysku tym wolniej będzie działał (w stronach czyszczonych będzie więcej bloków do przepisania).

TRIM:

TRIM jest to komenda SATA która pomaga w zmniejszeniu współczynnika WA, a przez to zwiększa szybkość działania i żywotność dysku SSD.
Co robi TRIM?
Jeżeli usuwamy dane (np: pliki) w systemie operacyjnym (obojętnie jakim), system ten odnotowuje sobie ten fakt i traktuje zajmowaną przez nie przestrzeń jako wolną ale nie wysyła informacji o tym do dysku.  Z punktu widzenia systemu operacyjnego miejsce jest wolne i może zostać nadpisane, ale dla dysku są to dane istotne, o których bezpieczeństwo trzeba zadbać, do czasu aż nie przyjdzie polecenie ich skasowana lub nadpisania. Dlatego też dane te zostają odczytane i zapisane za każdym razem gdy kontroler czyści stronę na której się znajdują (aby nadpisać jakiś inny blok). Jest to działanie niepotrzebne gdyż dane te są już skasowane tylko dysk nie dostał tej informacji.
Polecenie TRIM wysyła do dysku informację o skasowaniu danych, gdy tylko jest to robione na poziomie systemu operacyjnego. Dzięki temu dane te nie są przepisywane przy czyszczeniu strony i nie zwiększają współczynnika WA. Polecenie TRIM aby działało musi być wspierane zarówno przez system operacyjny jak i przez sam dsyk SSD.

Garbage Collection (GC):

Nieco wyżej psiałem, że aby nadpisać dane kontroler dysku SSD odczytuje całą stronę czyści go a następnie przepisuje na powrót stare dane + nadpisana nowa. W rzeczywistości odbywa się to nieco inaczej i uczestniczy w tym proces nazywany Garbage Collection (GC).
Nowe dane nie nadpisują starych ale są zapisywane w nowych blokach, natomiast te już nieaktualne dalej rezydują na dysku, są tylko zaznaczone do usunięcia, GC to proces który co jakiś czas przepisuje istotne dane do nowych stron, a na starych zostawiając tylko te już nieaktualne, potem takie strony są automatycznie czyszczone i gotowe na przyjecie nowych zapisów. Zalety stosowania GC to przede wszystkim szybsze zapisy - dane są nagrywane do nowych czystych stron i nie ma potrzeby czyszczenia i nadpisywania. Oczywiście nie ma nic za darmo, sam proces GC obciąża dysk i dlatego uruchamiany jest w okresie gdy generowany jest do niego mniejszy ruch. Problemy zaczynają się gdy sam dysk jest utylizowany bardzo mocno i dodatkowo zaczyna zapełniać się jego pojemność. W takiej sytuacji kontroler często nie jest w stanie znaleźć pustych stron na zapisy i musi uruchamiać proces GC w trakcie pracy, co powoduje spowolnienie samego napędu.

Wear Leveling (WL):


Każda komórka z której składa się dysk SSD ma swoją "wytrzymałość", która określa ile razy może ona przejść cykl czyszczenia i zapisu. Ponieważ niektóre dane po zapisaniu prawie się nie zmieniają, natomiast inne modyfikowane są prawie non stop (np: plik stronicowania OSa) część komórek w dysku jest obciążona dużo bardziej i wielokrotnie szybciej niż pozostałe może osiągnąć swoją granicę "używalności". Aby uniknąć takiego przedwczesnego zużycia, kontroler stosuje różne mechanizmy aby równomiernie rozłożyć ruch do/z dysku. Nazywa się do Wear Levelingiem(WL) i zwykle polega na przeadresowywaniu komórek pamięci na dysku. Ponieważ zmieniają się adresy komórek więc nie ma ryzyka że ciągle zapisy tych samych danych będą trafiały w to samo miejsce nadmiernie je eksploatując.

---

Na tym kończę serię wpisów dotyczących technologii SSD i macierzy "solid state"  - zajęło mi to dużo więcej czasu niż początkowo zakładałem ale mocno doskwiera michroniczny brak czasu i nadmiar innych zajęć. Co będzie w następnych wpisach jeszcze nie wiem, może wrócę do tematu Clariionów, a może nie.

Macierze "solid state" - demony prędkości (Część 2.2 - Firmy na rynku)

Przed nami kolejna część opisu rynku macierzy "solid state". Ostatnio skończyliśmy na Texas Memory System, teraz pora na opis reszty liczących się graczy.


Violin
http://www.violin-memory.com/

Firma Violin została zalożona w 2005 i skupia się na produkcji macierzy "solid-state". W Polsce produkty Violina sprzedaje, po "rebrandingu", HP, co sprawia że możliwości dostarczenia serwisu i wsparcia w Polsce są dużo większe niż dla innych producentów. Tak jak i każdy z pozostałych dostawców Violin ma pewne rozwiązania specyficzne dla siebie (często także chronione patentami) - warto wspomnieć chociażby o stosowanym przez Violina rozwiązaniu flash vRAID czyli odpowiednikiem zwykłej struktury RAID ale o funkcjonowaniu opartym o hardware, nie o oprogramowanie. vRAID sklada się z 4 modułów flash na dane + 1 na parzystość
Jeżeli chodzi o portfolio firmy Violin to można wyróżnić w nim trzy serie produktów:

6000 Flash Memory Array
W skład tej linii wchodzą dwa produkty 6616 i 6632. Pierwszy z nich jest wykonany w technologii SLC, obsługuje ok 1mln IOPSów i ok 10TB przestrzeni, model 6632 jest macierzą MLC, o dwukrotnie gorszych parametrach wydajnościowych natomiast większej (również 2 razy) pojemności.


3200 Flash Memory Array
Sztandarowy product firmy Violin Memory  - macierz o wielkości 3U mogąca zapewnić do 10TB przestrzeni z bardzo dobrymi parametrami wydajnościowymi.


3100 Flash Memory Array
Linia macierzy podobna do serii 3200 ale w przeciwieństwie do niej nie skupiająca się na maksymalnej wydajności ale “upakowaniu” danych. W obudowie o wielkości 3U można zapisać do 30TB danych.

---

Nimbus
http://www.nimbusdata.com/


Bardzo obiecująca firma na rynku "solid state" - do jej sukcesów należy na przykład sprzedaż 100TB przestrzeni na macierzach SSD dla amerykańskiego EBay-a. Jest to, na chwilę obecną, jedna z największych transakcji w tym obszarze. Co ciekawe, Nimbus od niedawna ma swojego partnera w Polsce i także na naszym rodzimym rynku może się pochwalić wdrożeniem swojego produktu. Firmą która współpracuje z Nimbusem i świadczy wsparcie oraz serwis dla jej produktów jest COMPAREX.

Macierze firmy Nimbus działają pod systemem operacyjnym (autorskim) o nazwie HALO. System ten zapewnia (lub będzie zapewniał w najbliższych realeasach) szereg funkcjonalności zarówno obecnych w produktach konkurencji (np:deduplikacja), jak i takie, które są standardem dla macierzy tradycyjnych ale nie występują w macierzach „solid state” (replikacja synchroniczna i asynchroniczna). Wszystkie te funkcjonalności nie są licencjonowane i dostępne do wykorzystania bez dodatkowych opłat.

Nimbus dostarcza dwa rodzaje rozwiązań nazwanych: S-Class i E-Class

E-Class (Enterprise) to rozwiązanie w pełni redundantne, posiadające dwa kontrolery i brak SPOFów.
S-Class (Standard) - posiada jedynie pojedynczy kontroler.

Do każdego z tych rozwiązań dokłada się następnie odpowiedniki półek dyskowych o pojemnościach do 10TB jedna. Maksymalna wielkość to 100TB w przypadku S-Class i 500TB dla E-Class

---

PureStorage
http://www.purestorage.com/

PureStorage to tzw start-up, czyli nowa firma z dużym potencjałem ale małymi możliwościami do zapewnienia wsparcia i nie rozbudowaną siecią partnerów/sprzedawców.

Macierzy PureStorage wykorzystują autorski system operacyjny: Purity Operating Envirnoment który zapewnie takie funkcjonalności jak globalna i działająca in-line deduplikacja wraz z kompresją. Dzięki temu dane zapisywane na macierzy zajmują od 5 do 20 razy mniej przestrzeni. Pozwala to na obniżenie kosztu jednostkowego do wartości ok 5$/GB

Obecnie firma mają w ofercie dwa rodzaje produktów:

FA-310

FA-320

Przy założeniu realistycznego współczynnika deduplikacja dla tzw: primary storage czyli 5:1 macierze te są w stanie przechować odpowiednio 50 i 100TB danych. Dyski w tych urządzaniach wykonane są w technologii MLC, ale system nimi zarządzający posiada mechanizmy wydłużające czas działania. W chwili obecnej macierze dostępne są jedynie na zasadzie „Early Access”, a dostarczenie i zapewnienie serwisu na terenie Polski jest praktycznie niemożliwe.

---

SolidFire
http://solidfire.com/

Kolejna nowa firma zajmująca się obszarem „solid-state arrays”. Podobnie jak Pure Storage jej produkty mają wbudowaną deduplikację, co sprawia, że efektywna pojemność jest o 5 do 20 razy większa niż rzeczywista ilość miejsca na dyskach. Produkty SolidFire są głównie przeznaczone do świadczenia usług w modelu „cloud storage” poprzez wsparcie dla dostępu obiektowego (protokół REST), który jest głównie wykorzystywany przy tego typu zastosowaniach. Innymi cechami macierzy SolidFire jest thin provisioning z wbudowaną opcją reklamacji (odzyskiwania) przestrzeni oraz mocno rozbudowane mechnizmy QoS (ustawienie max, min IOPSów oraz przepustowości per LUN itd…)

Pojedyńczy element (node) z którego zbudowane są rozwiązania SolidFire nosi nazwe SF3010 i ma wielkość 1U. Wspierane jest łączenie do 100nodów. Jedynym obsługiwanym w tej chwili interfesjem jest Eternet 10Gb/sec

---

Whiptail
http://whiptail.com/


Kolejny start-up, do niedawna firma miała w swojej ofercie tylko jeden produkt nazwany XLR8r i pozycjonowany jako rozwiązanie dla środowiski VDI-owych. Około 2 tygodnie temu ogłosiła jednak dużą zmianę i modyfikację swojego portfolio.
Obecnie Whiptail oferuje 2 produkty:

Accela  - następca XLR8r, mniejsza z dwóch propozycji Whiptail-a. Jest to moduł o wielkości 2U i pojemności do 12TB.
Invicta - "rozbudowana" wersja Acceli. Przede wszystkim jest to rozwiązanie skalowalne (scale-out) tak więc ma możliwość zbudowania dużo większego środowiska.

System na którym działa zarówno Accella jak i Invicta nosi nazwę: RaceRunner

---

Kaminaro
http://www.kaminario.com/

Kaminaro to firma dostarczająca produkty zarówno oparte na flash SSD jak i na kościach DRAM (podobnie jak TMS). Architektura i silnik napędzający macierze tego producenta został nazwany SPEAR (Scale-out Performance Storage Architecture), jak w samej nazwie jest zaznaczone przystosowany jest on dla rozwiązań mogących być mocno skalowane.

Kaminaro w tej chwili ma w ofercie 3 produkty różniące się od siebie rodzajem wykorzystanego nośnika:

• Kaminaro K2-F ---> Model wyłącznie z modułami flash. Zalecany dla zastosowań w których występuje duża liczba odczytów.
• Kaminaro K2-D ---> Model wyłącznie z modułami DRAM. Obsługuje mniejsze pojemności ale dostarcza większą wydajność oraz krótsze czasy odpowiedzi. Zastosowanie do głównie aplikacje generujące ogromne ilości zapisów.
• Kaminaro K2-H ---> Model hybrydowy posiadający zarówno moduły DRAM jak i flash. Kaminaro poleca go do ruchu "mieszanego" zarówno z zapisami jak i odczytami.

---

GreenBytes
http://www.getgreenbytes.com/


Jeżeli chodzi o GreenBytes to firma ta ma w swojej ofercie jedną macierz typu "solid state".
Nosi ona nazwę Solidarity i jest urządzeniem wspierającym wyłącznie protokół iSCSI. Oczywiście, podobnie jak w pozostałych przypadkach system zarządzający daną macierzą musi mieć swoją "nietypową" nazwę i jest to GO OS (Globaly Optimized OS).

Z ciekawych spraw to macierz zapewnia bardzo wysoką dostępność, między innymi dzięki redundantnym kontrolerom oraz wspiera mechanizm wewnętrznej deduplikacji w trybie rzeczywistym.

---

EMC ( + XtremeIO)


Oprócz firm specjalizujących się w "solid-state" macierzach, także "wielcy" świata storage przyglądają się bardzo temu segmentowi i próbują zdobyć na nim swoje przyczółki. Pierwsza próba jaką wykonało EMC ciężko mi uznać za udaną. Firma ta doszła do wniosku, że nie ma się co przemęczać i budować nowej architektury, ale warto wykorzystać rozwiązanie już posiadane (w tym przypadku macierz VNX) i skonfigurować ją wykorzystując wyłącznie dyski SSD.
W ten sposób powstał VNX 5500F --> klasyczna macierz midrange zdolna do obsługi zarówno ruchu blokowego jak i plikowego ale wyposażona wyłącznie w napędy flashowe. Biorąc pod uwagę, że standardowe kontrolery nie są przystosowane do olbrzymiego ruchu generowanego przez SSD, a także nie wykorzystują specyfiki działania takich dysków (np: zupełnie inny mechanizm zapisywania, niż odczytywania) okazało się, że tego typu konstrukcje nie są zbyt atrakcyjne.

EMC poszło po rozum do głowy i rozpoczęło prace nad czymś co początkowo sprawiało wrażenie przekształcenia się w macierz "solid-state" z prawdziwego zdarzenia. Tym czymś były projekty Lighning i Thunder. Pierwszy z nich okazał się kartą flash instalowaną w serwerze, a drugi najprawdopodobniej finalnie będzie akceleratorem storage w sieci SAN (coś podobnego, ale nie całkiem będącego macierzą SSD). Więcej o tych dwóch projektach można znaleźć TUTAJ.
Kolejnym krokiem EMC było wykupienie firmy specjalizującej się w solid-state storage, a mianowicie XtremeIO (http://www.xtremio.com/). To daje już potężne zaplecze do budowy własnego rozwiązania (lub po prostu zaadoptowanie istniejącego w XIO) - EMC zdaje się podążać tą pierwszą drogą i na ostatnim EMC World 2012 ogłosiło powstanie projektu X (Project X), który wydaj się być niczym innym, jak macierzą "solid state" z prawdziwego zdarzenia.

Jak zwykle - pożyjemy,zobaczymy.

---

HP


Na zakończenie HP, które całkiem niedawno ogłosiło swój produkt "solid state"-owy. Niestety, podobnie jak w przypadku EMC, nie można powiedzieć, że mamy do czynienia z czymś nowym, a jedynie tradycyjną macierzą wyposażoną wyłącznie w dyski SSD. Urządzenie to nosi nazwę P4900, obsługuje wyłącznie interfejs iSCSI i startowo dostarcza 6,4TB przestrzeni.

Macierze "solid state" - demony prędkości (Część 2.1 - opis rozwiązania+TMS)

W poprzednim wpisie (Część 1) rozpocząłem temat macierzy "solid state" ale skupiłem się wyłącznie na opisaniu dysków SSD. Teraz przyszła kolej na macierze:

Macierze "Solid State":

Macierzami „Solid State” nazywamy rozwiązanie wykorzystujące tylko i wyłącznie dyski SSD. Macierze te dysponują o około klasę mniejszymi pojemnościami niż odpowiedniki z dyskami mechanicznymi, jednak deklasują je pod względem wydajności .

Potrzeba wykorzystania nośników odmiennych niż dyski mechaniczne jest związana z szybkim postępem technologii w innych obszarach takich jak moc procesorów czy przepustowości sieci.  Od roku 2000 wydajność tych "pozostałych" komponentów zwiększyła się od 15 do ponad 400 razy:

• Procesor rok 2000 (Pentium 4 1,5Ghz) , rok 2012(Octal 2,6 Ghz) około 30 razy szybszy
• Pamięć RAM rok 2000 (DDR1 PC-2100), rok 2012 (DDR3 PC3-17000) około 16 razy szybsze
• Sieć rok 2000 (100Mb Ethernet), rok 2012 (40GbE) - szybsze 400 razy.

Niestety jeżeli popatrzymy z podobnej perspektywy na prędkości dysków twardych (tradycyjnych), to będzie to dość przygnębiający widok:

• Dysk rok 2000 (15k RPM) , rok 2012 (15k RPM) - wzrost o 0%

Pozostające ciągle na tym samym poziomie wydajności mechaniczne dyski twarde przestają być nośnikiem mogącym zapewnić prawidłową wydajność systemu dyskowego i coraz częściej stają się wąskim gardłem wydajnościowym.

Obecnie wykorzystywane są różne rozwiązania niwelujące słabą wydajność podsystemów dyskowych takie jak: caching, automatyczny tierning czy skalowanie macierzy na wydajność (kupno dużej ilości nadmiarowych dysków), ale są to tylko pewne obejścia. Za rozwiązanie strukturalne dla najbardziej wymagających aplikacji powinno się uważać rezygnację z dysków mechanicznych i przejście całkowicie na dyski SSD oraz macierze „solid-state”.

Warto także zauważyć, że macierz "solid-state" to coś więcej niż tylko zwykła macierz, do której nie dodało się dysków tradycyjnych, a tylko SSD (taką konstrukcje ma np w swoim portfolio EMC: VNX5500-F).

Macierz "solid-state" w prawdziwym tego słowa znaczeniu to urządzenie od początku do końca zaprojektowane wyłącznie z myślą o dyskach SSD, z firmware-m zoptymalizowanym pod wymagania takich dysków.
Oczywistą sprawą jest, że macierze SSD są wielkokrotnie szybsze niż ich odpowiedniki z dyskami HDD, ale traci się na pojemności (choć pojawiają się już rozwiązania z deduplikacją w czasie rzeczywistym). Kolejną cechą, która odróżnia te dwa typy macierzy są dodatkowe możliwości zwiększające bezpieczeństwo - rozwiązania typu redundacja wszyskich komponentów (brak SPOFów), czy funkcjonalności związane z replikacją lokalną i zdalną są dużo bardziej dojrzałe w produktach tradycyjnych.

Na rynku istnieje w tej chwili kilka (lub kilkanaście) firm specjalizujących się w sektorze macierzy „solid state”. Dwie z nich: TMS i Violin są firmami o ugruntowanej pozycji i posiadające rozbudowaną sieć sprzedaży i partnerów także na terenie Polski. Pozostałe to tzw: Startup-y, zalożone w latach 2010 lub 2011, posiadające bardzo duży potencjał i innowacyjne rozwiąnia ale nie mogące zapewnić odpowiedniego wsparcia na terenie Polski. W tej chwili większość start-upów ma swoje centra w dolinie krzemowej.

Przyjrzyjmy się poszczegółnym firmom i ich ofertą:

TMS (Texas Memory System):
http://www.ramsan.com/


Jedna z dwóch "dużych" firm nakierowanych na macierze "solid state". Założona w 1978r, pierwsza macierz oparta na flashach (SAM 300) została wypuszczona na rynek w 1990r.
Macierze TMSa noszą nazwę RamSAN i można podzielić je na dwie linie:

Macierze oparte na dyskach SSD flash:
Czyli "tradycyjne" modele macierzy "solid-state" (choć tradycyjne dla tej kategorii produktów, brzmi nieco śmiesznie). W tej klasie dostępne obecnie są następujące rozwiązania:

Ramsan-810
Macierz oparta na dyskach SSD wykonanych w technologii eMLC (więcej o podziale dysków w poprzednim wpisie). Nie mamy wieć tutaj do czynienia z bardzo drogimi dyskami SLC, ale nie wykorzystuje się również "ekonomicznej" klasy MLC. Sama macierz ma wielkość 1U i dostarcza do 10TB przestrzeni. Dostępne interfejsy to FC i Infinband.

Ramsan-710
Podobnie jak 810 macierz wielkości 1U o identycznych dostępnych interfejsach: FC i Infiniband. Główna różnica to wykorzystanie dysków SLC, czyli szybszych, wytrzymalszych ale także o mniejszych pojemnościach, z tego powodu maksymalna pojemność pojedyńczej macierzy to 5TB

Ramsan-640
Nieco większy model macierzy opartej na SSD - wysokość 4U, w całości zbudowana na "enterprise"-owych pamieciach SLC. Sumarycznie może dostarczyć 500.000IOPS i to według specyfikacji producenta zarówno w zapisie jak i odczycie. Przestrzeń jedynie 8TB, no ale nie dla dużego capacity kupuje się macierze "solid state". RamSan-640 obsługuje także technologię FlashBrick dzięki której składające się na nią moduły (2TB każdy) mogą być wymieniane bez utraty znajdujących się na nich danych pomiędzy macierzami.

Ramsan-630
Macierz o wielkości 3U, pamięciach SLC i pojamności 10TB. Widać od razu, że jest to "upgradowany" jeżeli chodzi o gęstość danych model 640. Prawdziwym zaskoczeniem jest jednak jego wydajność - 1.000.000IOPS (czyt: MILION IOPS). Ile w tym marketingu nie wiem - niestety nie miałem okazji sprawdzić.

Ramsan-6300
A to już można powiedzieć powtarzając za skeczem wykonywanym przez popularny kabaret "chłyt małketingowy". Ta macierz to nic innego jak szafa wielkości 42U wyładowana od dołu do góry RamSan-ami-630 (zmieściło się ich 14).
Dzięki temu mamy urzadzenie które jest w stanie wygenerować 14.000.000IOPSów, zapewnia przepustowość 140GB/s i dostarcza 140TB przestrzeni.
Fajne wartości, można się chwalić w folderach i na prezentacjach :D

Ramsan-720
Jeżeli chodzi o ten model to przede wszyskim skupiono się tutaj na dostępności i zapewnieniu ciągłości działania. Pozostałe modele mają wbudowaną pewną redundancje (zasilanie, układ chłodzący) ale same kontrolery były SPOFem. W Ramsan-720 ilość punktów których uszkodzenie spowodowało by zatrzymanie macierzy zostało ograniczone do minimum.
Jeżeli chodzi o szczegóły techniczne to jest to macierz o wysokości 1U i oparta na pamięciach SLC, jak na tak małe wymiary bardzo imponująca jest pojemność - 12TB

Ramsan-820
Rozwiązanie pod względem architektury analogiczne do RamSan-720 z poświęceniem bardzo dużej uwagi kwestią ciągłości działania. Różnica polega na rodzaju wykorzystanych pamięci SSD, zamiast SLC użyto eMLC, które (kosztem trwałości i szybkości) zapewnia większą pojemność.
1U macierzy RamSan-820 to do 24TB przestrzeni.

Macierze oparte na dyskach SSD DRAM:


Superliga jeżeli chodzi o macierze "solid-state", tutaj zamiast pamięci flash do przechowywania danych wykorzystuje się kości DRAM - czasy odpowiedzi są "obłędne", nawet kilka razy mniejsze niż przy "zwykłych" macierzach SSD. Oczywiście ma to swoją cenę, po pierwsze tego rodzaju pamięć jest nieodporna na zanik zasilania, potrzeba więc stosować dodatkowe zabezpieczenia, po drugie pojemności tych urządzeń liczy się raczej w GB niż TB.
Próby liczenia kosztu jednostkowego dla tych urządzeń przyjmując dotychczasowe, najpopularniejsze metryki czyli TB/$ dają przeogromne ceny - wiadomo jednak, że przy tych urządzeniach nie to jest najważniejsze.

TMS oferuje następujące produkty z tej serii:

Ramsan-420
Zbudowana na kościach DDR2 macierz, zapewniająca 256GB przestrzeni. Wydajność to około 600.000IOPS, natomiast czasy odpowiedzi są poniżej 15milisekund (mili, nie mikro!).
Jak na zatrważającą przestrzeń ćwierci TB, macierz zajmuje "zaledwie" 4U - maleństwo :D


Ramsan-440
Model podobny do RamSan-420 ale dzięki lepszemu upakowaniu danych mieści 512GB. Pozostałe parametry bez zmian.


Ramsan-300
Mniejsza i bardziej ekonomiczna wersja od swoich większych braci z serii 4xx. Wielkościowo zmiana jest kosmetyczna (z 4 na 3U) ale pojemność spadała znacznie - do 32GB a ilość obsługiwanych na sekundę operacji wejścia/wyjścia do 200.000.
Jeżeli ktoś chce rozpocząć pracę z macierzami oprartymi na RAMie, a wystarczy mu 32GB przestrzeni to takie rozwiązanie jest pewnie bardzo dobre na start.

---

Nie chcę tego wpisu rozciągać dalej, a w sumie omówiliśmy dopiero pierwszego z kilku producentów oferujących macierze "solid-state" - dlatego też reszta będzie opisana następnym razem.

2 rocznica bloga

Dzisiejszego dnia minęły 2 lata odkąd napisałem pierwszy wpis na blogu.
Co prawda inauguracja była dość smutna (z racji katastrofy Tupolewa) i bardzo krótka ale w pewien sposób zaczęła to co udaje mi się kontynuować do tej pory.

Blog rozwijał się bardzo spokojnie i bez większych rewolucji, ale takie też były założenia. Nie chciałem (i dalej nie chcę) zawojować za pomocą metastorage świata pamięci masowych, trochę to takie "pisanie dla samego siebie" choć oczywiście bardzo mi miło jeżeli, ktoś znajduje to pożyteczne dla siebie informacje.

Co do statystyk:

Jak widać w ciągłu tych 2 lat odwiedziło mnie prawie 3400 unikalnych użytkowników ( około 6000 odwiedzin). Na pewno "kokosów" bym nie zarobił umieszczając tutaj reklamy ;)
Niestety bardzo duży współczynnik odrzuceń - średnio 4 na 5 trafiających na mojego bloga nie czytało więcej niż pojedynczej strony - wynika to z pewnością z bardzo dużej ( i niezasłużonej) popularności jednego ze wpisów - tego dotyczącego cloud computingu.

To co cieszy to fakt, że mam niewielką grupkę osób, które mojego bloga odwiedzają i czytają regularnie:

Najbardziej zadziwiająca sprawa, jaka spotkała mnie przez te 2 lata blogowania, to fakt podlinkowania mnie przez Wikipedię (http://pl.wikipedia.org/wiki/Cloud_computing) i co najśmieszniejsze dotyczy to posta o temacie nieco odbiegającym od motywu przewodniego tego bloga. Dzięki temu poznałem siłę Wiki bo z tego jednego niepozornego linku w przypisach mam ponad 2200 wejść.

Co dalej z blogiem?
Ano nic nowego. Dalej będę pisał o sprawach jakie mi się spodobały w świecie storage, postaram się ciągnąć temat dotyczący Clariionów i przygotowania do certyfikacji EMC w tym obszarze, a może urodzi się w mojej głowie jeszcze coś innego. Pożyjemy zobaczymy.

Pozdrawiam wszystkich czytających i życzę przyjemnej lektury.

Macierze "solid state" - demony prędkości (Część 1 - Dysk SSD)

Jednym z najbardziej obecnie obiecujących trendów w obszarze storage i coś co pojawia się bardzo często we wszystkich zestawieniach związanych z przyszłościowymi technologiami to macierze składające się wyłącznie z dysków SSD.

Ponieważ ostatnio przygotowywałem w pracy analizę rynku takich rozwiązań i zebrałem trochę materiału oraz uzupełniłem swoją wiedzę na ten temat, to z miłą chęcią podzielę się tymi informacjami tutaj.

Zaczniemy od początku czyli opisania czym w ogóle jest dysk SSD

Dysk SSD

Podstawy:

Dysk SSD jest urządzeniem do przechowywania danych o zastosowaniach analogicznych jak „tradycyjne” dyski twarde. W odróżnieniu od nich SSD nie posiada części mechanicznych (talerze, głowice) a dane przechowywane są na elektronicznych układach półprzewodnikowych.

Zalety:

• Dużo szybsze od tradycyjnych dysków (szczególnie podczas tzw swobodnych odczytów - random reads)
• Brak mechanicznych części powoduje iż ich awaryjność jest dużo mniejsza, a odporność na wstrząsy i wpływ środowiska bardzo duża. 
• Małe zużycie energii - to także wynika z budowy tych urządzeń.

Wady:

• Koszt, znacząco większy niż dla dysków tradycyjnych. 
• Mniejsze pojemności.
• Ograniczona żywotność liczona w tzw cyklach zapisu. Cykl zapisu polega na wykasowaniu zawartości bloku z danymi i nadpisaniu go nowymi danymi – komórki pamięci na dyskach SSD mogą wykonać taką operację jedynie ograniczoną liczbę razy.  

Parametry wydajnościowe:

Napędy SSD są dużo szybsze niż ich mechaniczne odpowiedniki. Dysk SAS 15k potrafi osiągnąć około 180IOPSów. Wielkość ta jest zależna od dwóch czynników: szybkości obrotowej dysku oraz tzw "seek time", czyli czasu potrzebnego do głowicy dysku, na ustawienie się nad właściwym sektorem. Czynniki te są zależne od samej fizycznej budowy napędów i w najbliższej przyszłości nie jest możliwe ich podniesienie (np: zwiększenie prędkości obrotowej ponad 15.000obrotów powoduje bardzo duże wzrost siły bezwładności działającej na talerze) - z tego względu można powiedzieć, że dyski "tradycyjne" zbliżyły się do swoich granic wydajnościowych. W przypadku SSD nie ma ograniczeń mechanicznych i potrzeby "pozycjonowania" się głowicy nad danymi do odczytu, dlatego też napęd może obsłużyć dużo większą ilość żądań zapisu/odczytu. Dyski SSD mają jednak bardzo skomplikowany i wprowadzający duże opóźnienia mechanizm zapisu danych - dlatego też występują spore różnice między wydajnością przy zapisach (około 500IOPSów) a odczytach (40.000IOPSów). Przy standardowym "wymieszanym" ruchu dyski SSD są klikanaście razy szybsze od mechanicznych.

Kolejnym z parametrów wydajnościowych jest czas odpowiedzi. W przypadku HDD dla dysków 15k wynosi on około 3ms , przy dyskach SSD mówimy o wielkościach rzędu 100µS (0,1ms).

Podział dysków SSD -> Flash i DRAM:

Dyski SSD można podzielić według kilu kryteriów,j ednym z nich jest rodzaj układów półprzewodnikowych używanych do przechowywania danych. Można wyróżnić dwie kategorie: SSD zbudowane na modułach flash oraz na kościach DRAM.

Dyski SSD używane w komputerach stacjonarnych i laptopach, a także zdecydowana większość dysków używanych w serwerach oraz macierzach jest oparta o moduły flash.  DRAM obecny jest jedynie w niewielkiej ilości specjalizowanych macierzy opartych na tej technologii oraz w kartach PCIe. Poprzedni paragraf zatytułowany "Parametry wydajnościowe" opisywał tak naprawdę nie ogół dysków SSD ale właśnie ich podkategorię opartą na modułach flash.

Jeżeli chodzi o różnice między tymi dwoma technologiami to dyski DRAM są o wiele szybsze niż ich flashowe odpowiedniki. Czas odpowiedzi z pamięci DRAM mieści się w granicach 10-50µS, a z dysków flash około 100µS. Różnica jest znaczna, ale obydwie te wartości i tak są bardzo niskie jeżeli porównamy je do dysków tradycyjnych.

W układach DRAM nie występuje także zjawisko "zużywania" się komórek pamięci, które jest widoczne we flash-ach.
Jedną z ważniejszych różnic w działaniu jest reakcja na utratę zasilania - po odcięciu dopływu prądu komórki DRAM tracą zawartą w nich informację, dyski flash są na to zjawisko niewrażliwe. Z tych powodów macierze oprarte na DRAM muszą być zaopatrzone w baterie, do podtrzymywania zawartości pamięci w przypadku awarii zasilania.
Kolejna sprawa jaka wyróżnia te dwie grupy to wydzielanie ciepła - w przypadku DRAMu jest on dużo większy, co wpływa na potrzebę instalowania dodatkowych modułów chłodzących.

Podział dysków SSD --> SLC/MLC/eMLC/TLC

Zostając przy dużo bardziej popularnych dyskach opartych na modułach flash (bardzo często mówiąc SSD myślimy właśnie o dyskach flashowych) to je także można podzielić na kilka kategorii.
Różnica polega na budowie pojedynczej komórki pamięci i ilości przechowywanych w niej danych. Główne rodzaje komórek to SLC i MLC.
Komórki SLC (Single Level Cell)  przechowują jeden bit pamięci i mogą przyjmować tylko dwie wartości (1 i 0). Komórki MLC (Multi Level Cell) mogą znajdować się w czterech stanach (00,01,10,11) tak więc przechowują dwa bity informacji.
Przechodząc teraz z poziomu pojedynczej komórki do poziomu dysku SSD wykonanego w danej technologii:
Dyski SSD MLC mają dużo większe pojemności (dwa bity zamiast jednego na komórkę), są także tańsze. Jednak większa liczba stanów, w jakich może znajdować się pojedyncza komórka, sprawia, że różnice między nimi się zacierają, przez co dużo większa jest możliwość popełnienia błędów oraz mniejsza odporność na zużywanie. Dyski MLC są także nieco wolniejsze niż SLC.

Można również spotkać się z dwoma innymi rodzajami flashowych dysków SSD, a mianowicie eMLC i TLC. eMLC (Enterprise Multi Level Cell) to dysk oparty na komórkach MLC ale o poprawionej odporności na zużycie - "zwykłe" komórki MLC wytrzymują około 10.000 cykli czyszczenia/zapisu, natomiast eMLC to około 30.000cykli (dla porównania SLC - 100.000cykli).
TLC (Triple Level Cell) - to komórki przechowujące 3 bity danych (8 stanów) - otrzymujemy jeszcze większą gęstość danych ale oczywiście cierpi na tym niezawodność i odporność na "zużycie".

---

Na chwilę obecną wystarczy tyle informacji o dyskach SSD, kolejny wpis będzie poświęcony macierzą opartym wyłącznie na tych napędach i firmom które je dostarczają. Jeszcze potem myślę wrócić do tematu samych dysków i opisać trochę dokładniej ich działanie (funkcje takie jak TRIM, Garbage Collection itd...)


Do poczytania:

SSD - Wikipedia
What eMLC and eSLC do for SSD longevity
Flash SSDs - Inferior Technology or Closet Superstar?
Solid State Disk Overview
SLC kontra MLC gdzie dwóch się bije