TFHWildau Telekommunikation LAN 19 05 2003 Henrik Schwarz

TFH-Wildau - Telekommunikation / LAN - 19. 05. 2003 - Henrik Schwarz - I 100 RAID-Systeme Sicherheit und Performance auf einem „anderen Level“

Inhalt 1. Einleitung n RAID-Systeme n RAID-Level 2. Theorie n Software- vs. Hardware-RAID n IDE- vs. SCSI-RAID n Anforderung an die Festplatten n Hot Swapping und Hot Spare n Striping und MTBF 3. RAID-Level n RAID 0, 1, 10 n Level mit Fehlerkorrektur n XOR-Parity n RAID 2 -7, 50 n Strategien n Zusammenfassung 4. Fazit n RAIDsche Dreieck n Grenzen von RAID

RAID-Systeme n Redundant Array of Independent Disks (früher Inexpensive Disks) n Zusammenfassung mehrerer Festplatten zu einem Array, welches das Betriebssystem dann wie einzige große Festplatte verwaltet n Steigerung der Performance durch die gleichzeitige Nutzung mehrerer Laufwerke, auf denen die Daten verteilt sind n Erhöhung der Sicherheit und Verfügbarkeit der Nutzdaten durch Redundanz: es werden zusätzliche Daten abgespeichert, mit deren Hilfe sich die Nutzdaten einer defekten Platte rekonstruieren lassen n RAID-Systeme lassen auf unterschiedliche Art und Weise aufbauen, man unterscheidet dabei verschiedene Level

RAID-Level n die Level 1 -5 wurden 1987 an der Universität von Berkeley definiert und haben sich als Standard etabliert n sie beschreiben das grundsätzliche theoretische Verfahren aber nicht dessen technische Umsetzung n Heute unterscheidet man die Level 0 bis 7 (und verschiedene weitere Level, die sich ergeben können, wenn man zwei Level kombiniert) n Trotz der Bezeichnung „Level“ handelt es sich nicht um stufenweise aufbauende Verfahren, sondern um voneinander unabhängige Techniken. n Kein RAID-Level wird allen Anforderungen gleichzeitig gerecht, je nach Struktur und Sensibilität der Daten muss das passende Level ausgesucht werden.

Software- vs. Hardware-RAID Kriterium Software-RAID Hardware-RAID Implementationskosten niedrig hoch Performance niedrig hoch CPU-Belastung hoch niedrig Plattformunabhängigkeit nein ja Unterstützte RAID-Level NT, 2000, XP: 0, 1, (5) Linux: 0, 1, 4, 5 alle

IDE- vs. SCSI-RAID Kriterium IDE-RAID SCSI-RAID Implementationskosten niedrig hoch niedriger hoch (Dis-/Reconnect) CPU-Belastung hoch niedrig (RAID-Controller) Ausbaufähigkeit gering hoch Dauerbetrieb nein ja Performance

Anforderung an die Festplatten eines RAID-Systems n gleiche Geschwindigkeit, gleiche Größe und gleich großer Cache (am besten baugleiche Platten verwenden) n die RAID-Verfahren setzen gleich große Partitionen voraus, in einer Mischkonfiguration wird jedes Laufwerk nur bis zur Kapazität der kleinsten vorhandenen Festplatte genutzt n bei der Kombination einer 20 -GByte-Platte mit einer 30 -GBytegroßen Platte werden von dieser nur die ersten 20 GByte genutzt n solche Kombinationen sollten schon aus Kostengründen vermieden werden

Hot Swapping n Hot Swapping (oder auch Hot Plugging) ist ein Feature moderner RAID-Systeme, welches es erlaubt, eine defekte Platte auch während des Betriebs auszutauschen. n Sobald die neue Platte ihren Platz eingenommen hat, beginnt der Prozessor des RAID-Controllers selbsttätig mit deren Test, Formatierung und der Rekonstruktion des Inhalts.

Hot Spare n Alternativ zum Hot Swapping kommt häufig Hot Spare (oder auch Hot Fix) zum Einsatz. Hierbei übernimmt eine unbenutzte Platte des RAID-Arrays im laufenden Betrieb die Funktion einer ausgefallenen Festplatte. n Es steht sofort eine neue Platte zur Verfügung, ohne das sie erst manuell ausgetauscht werden muss.

Striping n die langsame Mechanik einer einzelnen Festplatte verhindert, dass die Daten in der vollen Geschwindigkeit des Interfaces übernommen werden können n das Striping (RAID-Level 0) verteilt die Daten jeder Datei beim Schreiben gleichmäßig über alle im RAID vorhandenen Festplatten n ist der Cache der ersten Platte voll, wird sofort die nächste beliefert und die Mechanik der ersten Platte hat Zeit, die Daten zu schreiben n so entsteht ein kontinuierlicher Datenstrom am Interface und die gesamte Bandbreite wird ausgenutzt n beim späteren Lesen einer Datei werden die Dateidaten dann von allen Platten geliefert n die resultierende Lesegeschwindigkeit ist im Idealfall die Addition der Transfergeschwindigkeit aller Platten, also bei zwei genutzten Festplatten doppelt so hoch ist wie bei einer einzelnen Platte n das Aufsplitten der Daten ist es auch, was die anderen Levels (trotz des Overheads für die Verwaltung) oft in der Performance besser aussehen lässt als eine einzelne Festplatte

MTBF n Je mehr Platten in einem Striping-Array zum Einsatz kommen, desto höher ist die statistische Wahrscheinlichkeit, dass eine von ihnen ausfällt. n Die Mean Time Between Failures eines Arrays (Zeit bis zum Ausfall) errechnet sich aus der MTBF einer Platte geteilt durch die Anzahl der Platten. n Beträgt der mittlere Ausfallabstand einer einzelnen Platte z. B. 35000 Betriebsstunden, muss bei einem RAID mit 7 Platten bereits nach 5000 Stunden mit einem Ausfall gerechnet werden.

RAID 0 n kein echtes RAID-Level, da keiner Weise redundanten Daten gespeichert werden, wird auch als Non-Redundant Striped Array oder als Striping bezeichnet n das parallele Lesen und Schreiben auf mehreren Laufwerken steigert zwar die Durchsatzrate enorm - im Falle eines Defektes sind aber alle Daten unwiederbringlich verloren, besteht keine Möglichkeit, die Daten zu rekonstruieren n wenn z. B. eine von zwei Platten ausfällt, so fehlt nicht etwa die Hälfte aller Dateien, sondern von allen Dateien jeweils die Hälfte. n wird vorzugsweise in der Audio- oder Videobearbeitung eingesetzt

RAID 1 n wird auch als Mirroring bezeichnet. Wenn für die Festplatten bei Verwendung separater RAID-Controller nennt man es Duplexing n benötigt min. 2 Platten, Gesamtzahl der verwendeten Platten muss stets gerade sein n auf zwei Platten werden identische Daten gespeichert. Daraus ergibt sich eine Redundanz von 100%, fällt eine der beiden Platte aus, arbeitet das System sofort mit der anderen Platte weiter n diese hohe Ausfallsicherheit wird jedoch mit den doppelten Kosten für die Festplattenkapazität bezahlt und lohnt sich deshalb nur für kleine Server

RAID 0+1 n wird auch RAID 10 genannt n Kombination von RAID 1 mit RAID 0 und verbindet dabei die Sicherheit von Level 1 mit der Performance von Level 0 n Die RAID Level 0, 1 und 10 haben dank der on Board oder als Steckkarte erhältlichen IDE RAID Controller auch unter den normalen PC Anwendern eine hohe Verbreitung.

Level mit Fehlerkorrektur (Parity) n beheben den Mirroring-Nachteil (halbe Nutzkapazität bei doppelten Kosten) n Nutzdaten werden per Striping auf mindestens zwei Datenlaufwerke verteilt n Daten der Nutzlaufwerke werden über eine logische Exklusiv-Oder. Operation (XOR) miteinander verknüpft (Paritätsprüfung) n Resultat wird (meist) auf einem eigenen Parity-Laufwerk gespeichert n aus den Paritätsinformationen und noch vorhandenen Nutzdaten lassen sich nach einem Ausfall die Daten eines defekten Laufwerks wieder rekonstruieren

XOR (Exklusiv-Oder) n XOR ist ein bitweiser Vergleich der Nutzdaten. Hierbei wird die Anzahl der Einsen an einer bestimmten Stelle gezählt. Ist die Anzahl ungerade ist das Ergebnis der XOR Verknüpfung eine 1, ansonsten eine 0. x 1 0 0 1 1 x 2 0 1 XOR 0 1 1 0

Parity-Berechnung n Nehmen wir nun einmal an, dass unsere Nutzdaten auf 2 Festplatten aufgeteilt werden. Für die Parität wird eine dritte Festplatte benötigt. Der Inhalt der Festplatten würde dann so aussehen: Festplatte A B Parity Inhalt 01101100 11100101 10001001

Fehlerkorrektur mit Parity n Würde jetzt eine Festplatte ausfallen, könnte durch eine erneute XOR Verknüpfung aus dem Inhalt der restlichen Platten die fehlende Information errechnet werden. Hierbei spielt es keine Rolle, ob eine Daten- oder die Parity- Festplatte ausfällt. Erst wenn mehr als eine Festplatte ausfällt, sind die gespeicherten Informationen verloren. Festplatte Inhalt vor dem Ausfall A B Parity Datenrekonstruktion 01101100 11100101 10001001 nicht notwendig Ausfall von Ausfall der Festplatte B Parity-Platte 01101100 **** 10001001 01101100 11100101 **** 11100101 10001001

RAID 2 n die Nutzdaten werden bitweise auf die einzelnen Festplatten des RAID-Arrays verteilt n nach dem aufwendigen Hamming- Algorithmus wird ein Fehlerkorrekturcode (Error Correction Code) berechnet und separates abgespeichert n Methode entspricht dem ECC-RAM Bausteinen n langsame Schreibgeschwindigkeit n wird der Praxis nicht mehr eingesetzt, da moderne Festplatten bereits eigene Methoden zur Fehlerkorrektur besitzen

RAID 3 n die Nutzdaten werden byteweise auf die einzelnen Festplatten des RAID-Arrays verteilt n für jeden Datensatz eine XOR-Prüfsumme erstellt und diese auf einer separaten Parity-Platte abgelegt n beim Ausfall einer einzelnen Platte können die Daten anhand der verbliebenen Platten und den Parity-Informationen rekonstruiert werden n wird in der Praxis nicht mehr eingesetzt, da moderne Festplatten und Betriebssysteme aber nicht mehr mit einzelnen Bytes arbeiten

RAID 4 n arbeitet ähnlich wie RAID 3 n die Daten werden aber nicht in einzelnen Bytes, sondern in Blöcken zu 8, 16, 64 oder 128 Kilobyte unter den Platten aufgeteilt n die Parity-Informationen werden auf einem separaten Laufwerk gespeichert n wird auch nur selten verwendet

RAID 5 n arbeitet wie RAID 4 mit blockweiser Datenverteilung n es existiert aber kein separates Parity-Laufwerk, die Parity. Informationen werden gleichmäßig auf alle Laufwerke des RAIDArrays verteilt. n Schreibzugriffe werden weitgehend parallelisiert, die mechanische Beanspruchung verteilt sich auf alle Platten n auch beim Lesen der Daten gute Performance, da die Daten gleichmäßig von allen Platten kommen n beliebteste RAID-Variante im Server-Bereich, speziell bei Datenbank- und Transaktionsservern

Grundsätzliche RAID-Strategien

RAID 50 n Kombination von RAID 5 mit RAID 0 und verbindet dabei die Sicherheit von Level 5 mit der Performance von Level 0 n benötigt mindestens 6 Festplatten n wurde von American Megatrends (AMI) entwickelt n Bei der Bezeichnung von Levelkombinationen wird aus marketingtechnischen Gründen die größere Levelnummer meist zuerst angegeben (RAID 50 statt RAID 05), da sich höhere Level besser verkaufen lassen.

RAID 6 n arbeitet grundsätzlich wie RAID 5, ist deshalb auch als RAID 5+ bekannt n es wird eine weitere Parity-Platte verwendet, was die Ausfallsicherheit nochmals erhöht n nun könnten sogar zwei Platten des Verbunds ausfallen, ohne dass Datenverluste auftreten (zur Erinnerung: RAID 3 bis 5 garantieren die Datensicherheit nur beim Ausfall von einem Laufwerk) n setzt häufig Hot Spare ein n aber deutlich langsamer bei Schreibzugriffen

RAID 7 n arbeitet ähnlich wie RAID 5 n im RAID-Controller wird ein Echtzeitbetriebssystem eingesetzt n benutzt schnelle Datenbusse und mehrere Pufferspeicher, welche die Laufwerke von der Datenübertragung auf dem Bus abkoppeln und somit asynchron arbeiten n erreicht sehr hohe Performance n ähnlich wie bei RAID 6 werden die Paritätsinformationen auf mehreren Laufwerken gespeichert

Level Methode Sicherheit 0 Data Striping Keine! Datenstreifen über min. 2 Festplatten verteilt 1 Data Mirroring 100%ige Redundanz durch Datenspiegelung 2 Data Striping + Hamming Code Parity bitweises Striping mit Fehlerkorrektur-Code (ECC) auf dedizierter Festplatte 3 Data Striping + XOR Byte Level Parity byteweises Striping mit XOR-Prüfsumme auf dedizierter Festplatte 4 Data Striping + XOR Block Level Parity blockweises Striping, sonst wie Level 3 5 Data Striping + Interleave XOR Block Level Parity Wie Level 4, aber gleichmäßige Verteilung der Parity auf alle Platten des Arrays 6 Data Striping + Two Independend XOR Interleave Block Level Parity Wie Level 5, jedoch mit einem zusätzlichen Parity-Laufwerk und oft mit Hot Spare 7 Properitär Storage Computer Corporation (SCC) wie Level 5, jedoch mit kontrollerunabhängigen I/O-Bus und eigenem Echtzeitbetriebssystem

Das RAIDsche Dreieck Macht den direkten Zusammenhang der drei Komponenten eines jeden RAID-Systems sichtbar. Zu betrachten sind: n der Preis n die Geschwindigkeit und n die Datensicherheit Je nach Zweck werden Systeme zwar schneller, was aber dann zu Lasten der Datensicherheit geht (RAID 0). Dagegen sind Systeme mit einer hohen Datensicherheit teurer. In der Praxis erstellen sich große UN maßgeschneiderte Einzellösungen aus einem Mix verschiedener RAID-Level.

Sichere Aufbewahrung n In der Forschung und Entwicklung werden oftmals nach Dienstschluss alle RAID-Festplatten aus dem System entnommen und an verschiedenen Orten gelagert. n Ein Diebstahl oder Datenmissbrauch wird dadurch nahezu unmöglich. Schließlich müssten in einer Nacht alle Platten, bis auf eine gestohlen werden um über die Daten zu verfügen.

Fazit n RAID-Systeme erhöhen die Sicherheit, Verfügbarkeit und Geschwindigkeit Rechnersystemen deutlich, können aber keinen 100%igen Schutz vor Datenverlusten bieten n um eine Ausfallsicherheit nahe 100 Prozent zu erreichen, müssen alle Komponenten des RAID-Systems inklusive Controller, Netzteil und Lüfter redundant ausgelegt werden – ist aber sehr teuer n sie schützen nicht vor Überspannungen (USV sinnvoll), Überschwemmungen oder Bränden, auch Viren und Würmer befallen RAID-Systeme ebenso gerne wie Einzellaufwerke n auch das zuverlässigste Array kann den Risikofaktor Nummer 1 nicht ausschalten: den Menschen. Er verursacht den größten Teil irreparabler Datenverluste und nicht die Technik. Gelöschte Dateien sind auch auf RAID-Systemen verloren n selbst für das ausgefeilteste RAID-System gilt deshalb: Den einzig wirklich zuverlässigen Schutz gegen Datenverluste bietet ein konsequent geplantes und vorgenommenes Backup!