Zentrale IT-Infrastruktur – Hochverfügbarkeit zum Niedrigpreis

Cloud-Security
In die Cloud – aber sicher! Aber sicher?
7. Januar 2017

Zentrale IT-Infrastruktur – Hochverfügbarkeit zum Niedrigpreis

Highly-RSA-1

Wie man im Mittelstand die zentrale IT-Infrastruktur hochverfügbar ausgestalten kann, ohne ein Vermögen zu investieren.

Wohin mit den Daten? Kleine und mittlere Unternehmen (KMU) sehen sich einem zunehmenden Datenwachstum konfrontiert. Gleichzeitig muss der Zugriff jederzeit und von überall aus möglich sein. Eine Herausforderung, die sich als wahrer „Budget Buster“ herausstellen kann. Keine gute Voraussetzung für den IT-Leiter, um strategisch planen zu können.

In dieses Spannungsfeld platziert Microsoft seine Software Defined Storage Lösung „Storage Spaces Direct“ (S2D): ein hochverfügbarer Speicher-Cluster, der auf Industriestandard-Hardware aufsetzt und moderne Speichertechnologien wie Storage Tiering, Erasure-Coding, RDMA und NVMe-Laufwerke unterstützt. Die Skalierung bis in den Multi-Petabyte-Bereich ist problemlos möglich – nach oben sind also keine Grenzen gesetzt. Für den Einstieg in die Software-Defined-Storage-Welt braucht es vier gewöhnliche, als Speicher-Knoten dienende Server. Auf den ersten Blick also ein hochinteressantes Mittelstandsprodukt. Wir wollen uns die Lösung einmal genauer anschauen, allerdings weniger aus einem rein technischen Blickwinkel, sondern mit der Brille eines Presales Consultants, der nicht nur Fragen nach der technischen Umsetzbarkeit von zuvor definierten Geschäftsanforderungen beantworten, sondern auch ein betriebswirtschaftliches Gesamtbild aufzeigen muss.

Durch die enorme Flexibilität und Skalierbarkeit von Storage Spaces Direct eröffnen sich unzählige Implementierungs- und Betriebsszenarien. Um die Länge dieses Blogbeitrags nicht auf Buchformat auszudehnen, engen wir den Spielraum, den uns Storage Spaces Direct bietet, mit den folgenden, auf den Einsatz in geschäftskritischen Umgebungen abgestimmten, Best Practices ein:

  • Planung mit mindestens vier Knoten: Auch, wenn bereits ab zwei Knoten ein S2D-System aufgesetzt werden kann, sind verschiedene, in Produktivumgebungen essentielle, Funktionen erst ab vier Knoten möglich. Die dynamische Einteilung zwischen Speicher mit Drei-Wege-Spiegelung und Double-Parity funktioniert erst ab vier Knoten. Der Ausfall eines kompletten Knotens wird ebenfalls erst ab vier Knoten vollständig transparent kompensiert. Die Konfiguration mit zwei oder drei Knoten eignet sich gut für die Bereitstellung replizierter Daten in Zweigstellen, Niederlassungen usw.
  • Aufbau als Hyperkonvergentes System: Natürlich lässt sich mit Storage Spaces Direct auch ein hochverfügbarer Storage für VMware- und/oder Hyper-V-Umgebungen schaffen, ohne gleichzeitig als Virtualisierungs-Host herhalten zu müssen. Aber die niedrigeren Lizenzierungskosten und die einheitliche, vereinfachte Verwaltung unter einer Oberfläche spricht für den Einsatz von S2D als Storage- und von Hyper-V als Virtualisierungs-Plattform auf ein- und derselben Hardware. Für Unternehmen, die vSphere bereits lizenziert haben und weiterverwenden wollen, ist Storage Spaces Direct dennoch eine leistungsfähige und kostengünstigere Alternative zu VMware vSAN und selbstverständlich auch zu jedem herkömmlichen SAN-Storage.
  • Zertifizierte Herstellerlösung vor B-Brands vor COTS-Eigenbau: Um den Komplexitätsgrad bei der Auswahl der passenden Hardware so gering wie möglich zu halten, empfiehlt sich der Einsatz einer zertifizierten Lösung von bekannten Herstellern wie Fujitsu, HPE oder Dell. Auch bieten die Markenhersteller einen Produktlebenszyklus, der es selbst nach Jahren noch erlaubt, einen weiteren baugleichen Knoten einzubinden, wenn zusätzliche Kapazität benötigt wird. In Microsofts Windows Server Catalog, der ehemaligen Hardware-Kompatibilitätsliste, sind zwar auch unzählige Noname-Komponenten aufgeführt, die bei den Amerikanern liebevoll COTS genannt werden: Commercial Off The Shelf. Erfahrungsgemäß ist jedoch das Einsparpotenzial nicht mehr so groß, dass sich dadurch das höhere Risiko für Inkompatibilitäten und die kürzeren Produktlebenszyklen rechtfertigen ließen. Als passablen Kompromiss zu den sogenannten „A-Brands“ kann man auf Hersteller wie z.B. Supermicro, Intel, Thomas Krenn, Wortmann und andere zurückgreifen. Wer die Technologie hingegen zunächst testen möchte, für den können sogar alte PCs oder ausgemusterte Server herhalten.
  • Finger weg von Consumer-Grade-SSDs: Auch wenn der Preisunterschied zwischen Enterprise- und Consumer-SSDs gewaltig ist: Finger weg von Consumer-SSDs als Cache-Drives! Artikel 3 des Kölschen Grundgesetzes („et hätt noch emmer joot jejange“) zählt hier nicht. Um nicht mit angezogener Handbremse zu fahren, benötigt man SSDs mit PLP-Funktion, also mit ausfallsicherem Zwischenspeicher. Andernfalls arbeiten die S2D-Knoten ohne Write-Back-Schreibcache, was die Performance stark beeinflusst und bis auf normale HDD-Geschwindigkeit ausbremsen kann. Ungläubige mögen an dieser Stelle nach „Write Cliff“ googlen. Da kann man sich den Invest in SSDs besser gleich sparen… Darüber hinaus machen die stetigen Schreibzugriffe den Cache-Laufwerken schwer zu schaffen. Consumer-SSDs weisen zumeist einen DWPD von 1 oder niedriger auf, während Cache-Laufwerke mindestens einen DWPD von 10 benötigen, wenn sie die vom Hersteller vorgesehenen 5 Jahre Lebensdauer erreichen sollen. Intel hat mit seiner DC3700-Serie speziell auf solche Workloads abgestimmte SSDs im Programm. Zudem bietet Intel einen SSD-Lebensdauer-Kalkulator an, mit dem man den voraussichtlichen DWPD-Faktor je nach Workload berechnen und danach geeignete SSDs auswählen kann.

Das S2D-Feature ist nicht in der Windows Server 2016 Standard Edition enthalten, sondern lediglich in der Datacenter-Variante. Diese dürfte in mittelständischen Systemumgebungen ohnehin der Standard sein; für kleinere Infrastrukturen mit lediglich einer Handvoll virtueller Maschinen bedeutet es jedoch eine zu hohe Hürde, denn jedes Datacenter schlägt in der günstigsten Lizenzform mit ca. 4.500 Euro netto zu Buche – pro S2D-Knoten und ohne Software Assurance, wohlgemerkt. Will man auf VM-Ebene Ausfallsicherheit herstellen, machen Microsofts Lizenzbestimmungen ohnehin den Griff zur Datacenter-Variante notwendig. Ein Umstand, den der eine oder andere Wettbewerber gern mal vergaß, als er die Segnungen von vMotion und den Preisvorteil von VMware vSphere Essentials Plus Kit anpries.

Wer Ausfallsicherheit in kleineren Umgebungen benötigt, der kann aus einem Strauß an Möglichkeiten auswählen: NAS-Hersteller wie Synology bieten hochverfügbare Speicherlösungen als kostenloses Add-On; Linux-Cracks planen mit Ceph in Verbindung mit dem RADOS Block Device (RBD) und KVM als quelloffenem Hypervisor. Kleine Unternehmen, Praxen, Kanzleien und Freiberufler setzen auf Collax V-Bien, Proxmox oder kostenfreie Einsteiger- und Testversionen von DataCore, Open-E und anderen. Storage-Hersteller aus der zweiten Reihe bieten Bundles mit Software-Lösungen wie Starwind, Nexenta sowie den gerade schon erwähnten Open-E und DataCore. Jede dieser Lösungen hat ihre Eigenheiten, Vorteile und Einschränkungen. Dem Auswahlprozess widmet die KLESYS in solchen kleineren Projekten daher besonderes Augenmerk, schließlich bindet sich der Anwender üblicherweise für viele Jahre an die Technologie-Plattform.

Zurück zu Storage Spaces Direct. Wir möchten zwei exemplarische Investitionsrechnungen vornehmen und gehen dabei von folgenden zwei Szenarien aus, die der „Lebenswirklichkeit“ vieler mittelständischer Umgebungen mit 100 bis 500 Anwendern nahekommen:

Szenario 1:

  • 30 virtuelle Maschinen; ausschließlich Server-Betriebssysteme, keine VDI
  • 3 Hosts, VMware vSphere Essentials Plus Kit als Servervirtualisierung
  • SAN Speicherarray von Hersteller XY, Wartung läuft bald aus
  • reine HDD-Konfiguration, kein SSD-Caching oder Storage-Tiering aktiv
  • Anbindung an die Hosts über dediziertes iSCSI-LAN, redundante Switches
  • 3 TB in Datenpartitionen gebunden, zusätzlich 2 TB Systempartitionen
  • Redundanz zu 100 Prozent über verteilte Parität (RAID 5, 6) hergestellt
  • neues Storage-System soll anfangs eine Nettokapazität von 12 TB bieten

Szenario 2:

  • 50 virtuelle Maschinen; ausschließlich Server-Betriebssysteme, keine VDI
  • 4 Hosts, VMware vSphere inkl. vMotion als Servervirtualisierung
  • SAN Speicherarray von Hersteller XY, Wartung läuft bald aus
  • reine HDD-Konfiguration, kein SSD-Caching oder Storage-Tiering aktiv
  • Anbindung an die Hosts über dediziertes iSCSI-LAN, redundante Switches
  • 5 TB in Datenpartitionen gebunden, zusätzlich 3 TB Systempartitionen
  • Redundanz zu je 50 Prozent über verteilte Parität (RAID 5, 6) und Spiegelung (RAID 10) hergestellt
  • neues Storage-System soll anfangs eine Nettokapazität von 20 TB bieten

Die obigen Beispielumgebungen sind ein Klassiker, der viele Jahre sehr erfolgreich vertrieben und eingesetzt worden ist. Warum dieser Konfiguration, oft „3-2-1-Modell“ oder auch „umgekehrte Pyramide der Verdammnis“ genannt, so viel Erfolg beschieden war, fragte sich Scott Alan Miller schon vor vier Jahren in einem viel beachteten Beitrag auf Spiceworks, den er anschließend in mehreren Fachpublikationen fortsetzte. Offensichtliche Schwachstelle dieses Modells ist die fehlende Redundanz des Speichersystems. Dem begegnete man mit einem hohen Servicelevel-Agreement, was wiederum die Hersteller freute, denn sie verdienten prächtig daran. Irgendwann wurde das eingesetzte Speichersystem abgekündigt, der Nachfolger kam auf den Markt, natürlich viel schneller, besser, cooler… Zeitgleich verteuerte sich der Support des Altsystems, was entweder zu noch höheren Serviceeinnahmen oder zu einem neuen Projekt beim Hersteller führte. Der Anwender war – und blieb – gefangen in einem goldenen Käfig.

Vordergründig ändert sich diese kritische Abhängigkeit zum Technologielieferanten nicht: Ob nun der Software-Defined-Storage-Anbieter oder der klassische NAS- und SAN-Hersteller die Supportbedingungen diktieren kann, scheint zunächst egal. Bei näherer Betrachtung kann hier jedoch Microsoft mit Storage Spaces Direct einen wichtigen Punkt machen: Windows Server 2016 ist als Quasi-Betriebssystem-Standard im Mittelstand ohnehin im Einsatz. Mit Storage Spaces Direct fügt man lediglich eine weitere Funktion hinzu und weiß sich der Unterstützung des weltweit größten Softwareherstellers und der weltweit größten Partner-Community sicher.

Über die Befreiung von der Support-Abhängigkeit hinaus gibt es weitere gewichtige Argumente gegen klassische Speicher-Arrays und für Storage Spaces Direct, auf die nachfolgend näher eingegangen werden soll.

Als in den 80er-Jahren RAID entwickelt wurde, hatten Festplatten Kapazitäten von wenigen Megabyte. Die Wiederherstellung nach einem HDD-Ausfall dauerte in der Regel nur Minuten. Seit diesen Tagen sind die Speicherkapazitäten um den Faktor 100.000 gestiegen und bringen das RAID-Konzept an seine Grenzen. Wiederherstellungszeiten von mehreren Tagen oder gar Wochen sind in Produktivumgebungen schlichtweg nicht hinnehmbar (lesen Sie hierzu auch unseren Blogbeitrag zum Thema RAID).

Storage Spaces Direct wendet anstelle eines herkömmlichen RAIDs das Erasure-Coding-Verfahren nach Reed-Solomon an. Auf diesem Wege lässt sich das gleichzeitige Auftreten von zwei Fehlerereignissen kompensieren. Die gerade im deutschen Mittelstand so beliebte Datenspiegelung in einen zweiten Brandabschnitt lässt sich also auch mit dem in diesem Beitrag aufgezeigten Konstrukt aus vier hyperkonvergenten S2D-Knoten herstellen. Für das Auftreten eines einzelnen Fehlerereignisses hat Microsoft die sogenannten Local Reconstruction Codes entwickelt, die deutlich verkürzte Wiederherstellungszeiten z.B. nach einem Festplattenausfall bieten. In diesem Technet-Artikel wird auf die unterschiedlichen Ausfallabsicherungen in Storage Spaces Direct detailliert eingegangen.

Klassische Speicher-Arrays bieten oftmals keinen Schutz gegen die schleichende Datenkorruption, auch „Bit-Fäule“ genannt. Storage Spaces Direct setzt auf dem in Windows Server 2012 eingeführten und in Windows Server 2016 zur Produktionsreife weiterentwickelten ReFS-Dateisystem auf, das in Verbindung mit Storage Spaces Direct einen zuverlässigen Mechanismus zur Erkennung und Korrektur von schleichender Bit-Fäule bietet.

Die Verwendung von COTS, also Standardkomponenten, ist ein insbesondere aus wirtschaftlicher Sicht bedeutendes Argument für Software Defined Storage und gegen das klassische SAN, weil sich die Speicherumgebung dadurch optimal auf die Geschäftsanforderungen abstimmen lässt. Während des Nutzungszeitraums können mittels Scale-Out oder Scale-Up zusätzliche Speicherknoten ohne Ausfallzeit eingebunden oder bestehende Knoten z.B. mit weiteren SSDs ausgestattet werden. Wer sein Rechenzentrum in Richtung Private Cloud und hin zu einer serviceorientierten Architektur entwickeln will, kommt um Software Defined Storage nicht umhin.

Wir haben unsere Ausgangsszenarien einmal in den Online-Konfigurator von Thomas Krenn eingegeben und folgende Konfigurationen zusammengestellt:

Alle in diesem Beitrag genannten Preise sind Nettokonditionen, verstehen sich also zuzüglich gültiger Mehrwertsteuer.

Szenario 1:

2HE Intel Dual-CPU Server, 12x HDD-Einschübe, 2x 10GBase-T LAN on Board, redundante Netzteile12.614,002.614,00
Intel Xeon E5-2620v4 8-Core 2,1GHz 20MB 8GT/s2449,50899,00
128 GB (4x 32 GB) ECC Reg DDR4-2400 RAM11.699,001.699,00
800 GB SATA III Intel SSD MLC DC S371021.255,002.510,00
2 TB SAS III HGST HDD NL 7.2k4195,00780,00
Avago SAS III HBA 9300-8i1385,00385,00
Garantieerweiterung auf 60 Monate (5 Jahre)1653,00653,00
Summe pro Knoten1 9.534,00
Gesamtsumme für 4 Knoten49.534,0038.136,00

 

Szenario 2:

2HE Intel Dual-CPU Server, 12x HDD-Einschübe, 2x 10GBase-T LAN on Board, redundante Netzteile12.614,002.614,00
Intel Xeon E5-2620v4 8-Core 2,1GHz 20MB 8GT/s2449,50899,00
256 GB (8x 32 GB) ECC Reg DDR4-2400 RAM13.350,003.350,00
800 GB SATA III Intel SSD MLC DC S371031.255,003.765,00
1,8 TB SAS III HGST HDD 10k8659,005.272,00
Avago SAS III HBA 9300-4i1249,00249,00
Avago SAS III HBA 9300-8i1385,00385,00
Garantieerweiterung auf 60 Monate (5 Jahre)11.089,001.089,00
Summe pro Knoten1 17.623,00
Gesamtsumme für 4 Knoten417.623,0070.492,00

 

Die beiden Konfigurationen unterscheiden sich vor allem im verwendeten Primärspeicher. Die „große Lösung“ verwendet acht 10.000 U/min schnelldrehende SAS-Festplatten mit je 1,8 TB Kapazität. In der „kleinen Lösung“ kommen langsamere Nearline-SAS-Festplatten zum Einsatz. Wir raten zwar vom Einsatz dieses Festplattentyps außerhalb von Backup- und Archivsystemen ab, aber die Praxis zeigt, dass insbesondere die großen SAN- und NAS-Anbieter diesen Plattentyp heftig promoten und die Nearline-SAS-HDD sich dadurch in kleineren Umgebungen inzwischen etablieren konnte. In Verbindung mit dem richtigen und ausreichend dimensionierten SSD-Caching ist das auch eine aus unserer Sicht akzeptable Alternative. Zwei bzw. drei Intel-SSDs beschleunigen in beiden Szenarien als Cache-Laufwerke die zur Verfügung stehende Kapazität. Die ausgewählten Intel-SSDs dürften dank eines DWPD-Werts von über 11 während der fünfjährigen Nutzungsdauer keinen Wear-Out erleben. Wie die Caching-Logik in Storage Spaces Direct genau funktioniert, hat Microsoft in einem anschaulichen Technet-Artikel dargelegt.

Zu den Performancewerten der zusammengestellten Konfiguration lassen sich ohne praktischen Test naturgemäß keine exakten Angaben machen. Es ist jedoch davon auszugehen, dass der IOPS-Wert im sechsstelligen Bereich liegen wird. Mit einer in ihrem Grundaufbau ähnlichen Konfiguration hat Intel fast 1.000.000 IOPS bei reinen Lesezugriffen und 640.000 IOPS bei einer 30/70-Schreib/Leserate herausgekitzelt. Verglichen mit den wenigen tausend IOPS, die traditionelle SAN- oder NAS-Arrays bringen, kann man getrost von einer Zeitenwende sprechen. Datenbanken wie Exchange oder SQL Server bzw. Oracle profitieren am meisten von diesem Performanceschub. Data-Warehouse-Auswertungen stehen statt erst nach einer Stunde schon innerhalb von 15 Sekunden zur Verfügung.

Auch der Datendurchsatz mit Storage Spaces Direct ist atemberaubend. Microsoft hat mit einer 4-Knoten-Dell-Konfiguration bis zu 60 Gigabyte pro Sekunde erreicht. Zum Vergleich: Eine einzelne Notebook-Festplatte schafft heute ungefähr 60 Megabyte pro Sekunde. Das englischsprachige Wikipedia umfasst komprimiert ca. 12 Gigabyte, mit dem Testaufbau hätte man also den gesamten Wikipedia-Inhalt fünf Mal pro Sekunde übertragen können.

Bei beiden Szenarien ist zu berücksichtigen, dass, sofern noch nicht vorhanden, je nach Lizenzmodell mindestens 18.000 Euro für vier Windows Server 2016 Datacenter-Lizenzen hinzuzuzählen sind. Daraus ergeben sich für das komplette Software Defined Datacenter folgende Key Performance Indikatoren (wir nehmen einen IOPS-Wert von 60.000 für Szenario 1 und 120.000 für Szenario 2 an):

Szenario 1:

Netto-Kapazität:12,0 TB
Reserve:8 TB
Storage-Verteilung:100 % doppelte Parität
Speicher-Effizienz:50 %
Preis pro VM:1.871 EUR
Preis pro Netto-GB:4,57 EUR
Preis pro IOPS:0,94 EUR

Szenario 2:

Netto-Kapazität:20,2 TB
Reserve:7,2 TB
Storage-Verteilung:50 % Drei-Wege-Spiegelung, 50 % doppelte Parität
Speicher-Effizienz:40 %
Preis pro VM:1.770 EUR
Preis pro Netto-GB:4,28 EUR
Preis pro IOPS:0,74 EUR


Fazit:
Storage Spaces Direct ist eine atemberaubende Weiterentwicklung der mit Windows Server 2012 R2 erstmals veröffentlichten Technologie. Im Wettbewerbsumfeld bietet es herausragende Leistungsdaten und eine fast unbegrenzte Skalierbarkeit von wenigen Terabyte bis in den Petabyte-Bereich hinein. Das Management erfolgt in der vertrauten Umgebung von Windows Server 2016 und in Microsoft System Center 2016. Das bestechendste Argument ist jedoch der Preis: Weil der mittelständische Anwender ohnehin über Windows Server Datacenter Lizenzen verfügt, handelt es sich um klassische „EHDA-Kosten“. Die Kosten für die Lizenzen sind eh da, die S2D-Funktion muss lediglich aktiviert werden.

Storage Spaces Direct kann sich somit für viele mittelständische Unternehmen als nächster logischer Schritt in Richtung Software Defined Datacenter erweisen. Wie die obigen Szenarien anschaulich belegen, ein überdies sehr wirtschaftlicher Schritt.

Thomas Krenn hat ein sehr informatives e-Book zum Thema Storage Spaces Direct herausgegeben, das hier heruntergeladen werden kann. Server von Thomas Krenn können Sie auch über die KLESYS beziehen. Unser Vertrieb informiert Sie gern: +49 (2824) 9252-0.