Im High Performance Computing zeigt sich besonders eklatant: Der rasante Anstieg der Datenmenge und damit der einhergehende Bedarf an Hochleistungsspeicher resultiert in einer Aufwärts-Spirale bei den Ausgaben für Storage und – damit direkt korreliert – in den Rückgang des für Rechenleistung verfügbaren Budgets.

Gartner fand bereits 2013 in seinen „Market Trends“ heraus: der Hunger des „Storage Beasts“ ist unstillbar – Storage-Lösungen verschlingen mehr und mehr des ohnehin schon chronisch knappen IT-Budgets. Laut der damaligen Gartner-Studie eine nicht zu bremsende, geschweige denn umkehrbare Entwicklung und eine Folge der explodierenden Datenfülle. Gleichzeitig benötigen immer komplexer werdenden Simulationen zunehmend mehr Input-Daten und generieren mehr Output-Daten. Datenintensive Anwendungen wie Machine/Deep Learning sind in vielen Bereichen bereits state-of-the-art. Das alles führt zu einem exponentiell wachsenden Bedarf an Hochleistungsspeicher – insbesondere dort, wo HPC (High Performance Computing) zum Einsatz kommt.

„Storage Beast“ frisst HPC-Budget

In einer neueren Studie im Jahr 2017 von Hyperion Research verzeichnet der Umsatz von externem HPC Storage den am stärksten wachsenden Trend in Bereich der HPC Infrastruktur: über den Zeitraum von 2016 bis 2021 wird ein Wachstum von 7,8% prognostiziert, im Vergleich dazu steigt der HPC-Server Umsatz lediglich um 5,8%. Seit dem Jahr 2009 wachsen die Ausgaben für HPC Storage schneller as die Ausgaben für HPC Compute. Hier zeigt sich deutlich die – im Hinblick auf eine ausgewogene Architektur – besorgniserregende Verschiebung der Ausgaben in Richtung Storage.

Warum wachsen die Ausgaben für HPC Storage?

Zur Lösung immer anspruchsvollerer Fragestellungen bedient sich die Wissenschaft immer komplexerer Modelle und Simulationen und zusätzlich werden zunehmend datenintensive GPU basierende AI-Methoden eingesetzt. Daraus folgen jedoch um Größenordnungen höhere Anforderungen an den Durchsatz (hin zu Terabyte pro Sekunde) und an die IOPS (hin zu Millionen). Auch die Anzahl der Files (hin zu Milliarden) sowie die Größe des File-Systems (hin zu hunderten von Petabyte) und der einzelnen Files steigt rapide und unaufhaltsam.

Daraus ergibt sich also: HPC wandelt sich von „Compute-intensiv“ zu „Daten-intensiv“

Die vorhandenen in der „compute-intensiven“ Ära entstandenen Storage-Architekturen reichen einfach nicht mehr aus, die Performance sinkt und die Beschwerden der Anwender beim HPC-Unit Leiter häufen sich. Weitreichendere Folgen aus dem verlangsamten Datenzugriff sind die Störung kritischer Projekte und der Verlust von Marktanteilen. Der IT-Verantwortliche ist gezwungen zu handeln und auf geplante wichtige IT-Anschaffungen zugunsten weiterer Storage-Einheiten zu verzichten.

Bastler kommen kaum auf Ihre Kosten

Wenn es preiswert sein und schnell gehen soll sind einmal mehr die „Bastler“ gefragt, die weitere Storage-Einheiten nahtlos in die IT-Architektur implementieren sollen – das hat bis zu einem gewissen Punkt ganz gut funktioniert, jedoch nicht im HPC. Denn hier kommt es extrem auf die Geschwindigkeit beim Verarbeiten und beim Zugriff auf die Daten an.

Neue Wege zum Storage-Glück

Der Storagekosten-Aufwärtsspirale kann auf Dauer nur entkommen, wer auf einen strukturellen Wandel der Storage Plattform setzt. Neue, kosteneffiziente Architekturen sind gefragt:

• Maximale Leistung zu minimalen Kosten,
• einfach zu implementieren und zu managen,
• unbegrenzt skalierbar.

Soweit das Anspruchsdenken. Tatsächlich gibt es dafür bereits einige Lösungsansätze: von „All Flash“ über „Burst Buffers“ bis hin zu „Hyperconverged Storage Architekturen“. Wenn man alle oben genannten Anforderungen in Betracht zieht, kommt man an der Nummer Eins auf dem HPC Storage Markt nicht vorbei: die ClusterStor™-Lösung von Cray.

Die Cray ClusterStor Lösung setzt das hungrige Storage Beast auf Diät und stoppt so die steigenden HPC Storage Ausgaben durch eine einzigartige Kombination aus:

• Open Source Software Lustre mit Enterprise-Level Support
• Hyperkonvergenter, kosteneffizienter Architektur
• Plug & Play, rack-scale Deployment Modell
• IT Operations Analytics für die Erkennung unwirtschaftlicher Vorgänge

https://youtu.be/Ptz1Od0MkL8

Lesen Sie zu diesem Thema im IT-Könner Blog:

Welche Vorteile bringt das Open Source Filesystem Lustre?

Hyperconverged Architecture: was bedeutet das für HPC Storage?

Sprechen Sie mit uns darüber

Sie müssen sich in Ihrer HPC-Umgebung genau diesen Herausforderungen stellen? Wir zeigen Ihnen gerne persönlich, wie Sie das Storage-Monster auf Diät setzen.