KI als Wachstumsmotor für die Storage-Branche Storage für KI, Container und darüber hinaus

Anbieter zum Thema

Scality SA

VAST Data

Dell GmbH

Pure Storage GmbH

Huawei Technologies Deutschland GmbH

mehr weniger

Hitachi Vantara GmbH

NVIDIA GmbH

NetApp Deutschland GmbH

IBM Deutschland GmbH

WatchGuard Technologies GmbH

Boston Server & Storage Solutions GmbH

Zadara Ltd.

weniger

Ohne Storage keine KI: Denn KI-Anwendungen benötigen große Datenmengen, damit sie ihre Aufgaben erfüllen können. Das sorgt für Wachstum im Storage-Markt. Aber auch in anderen Sektoren geht die Entwicklung weiter.

Eine Wachstumsrate von mehr als 24 Prozent pro Jahr von 2025 bis 2034 für Storage-Systeme, die in Verbindung mit KI-Anwendungen genutzt werden: Das sagen die Marktforscher von Precedence Research voraus und gehen davon aus, dass der weltweite Absatz von Storage für KI von fast 36 Milliarden US-Dollar in diesem Jahr auf mehr als 255 Milliarden US-Dollar klettern wird. Bei IDC sieht man ebenfalls ein Plus für den Storage-Markt durch KI, auch wenn die Gesamtausgaben für IT-Infrastruktur hier zu mehr als 90 Prozent in GPU-Server fließen. Immerhin ist der Absatz von ­Storage für KI auch laut IDC im ersten Halbjahr 2024 um 18 Prozent gewachsen, mit einem Cloud-Anteil von 40 Prozent.

Künstliche Intelligenz spielt laut einer Studie, die die Marktforscher von Vanson Bourne im Auftrag von Dell Technologies erstellt haben, in den Strategien deutscher Unternehmen zunehmend eine Schlüsselrolle. So glauben mit 95 Prozent fast alle Teilnehmenden aus den 150 befragten deutschen Unternehmen und Institutionen, dass KI und vor allem GenAI einen wichtigen Bestandteil in der Geschäftsstrategie ihres Unternehmens darstellt. Immerhin 85 Prozent geben an, dass sie ihre Daten als zu wertvoll einschätzen, um sie mit einer GenAI-Lösung zu verwenden, bei der Dritte Zugriff auf die Daten haben könnten. Zudem sind sich die IT-Verantwortlichen bewusst, dass sie ihre Daten für die KI-Nutzung vorbereiten und einen Teil ihrer IT-Infrastruktur modernisieren oder ausbauen müssen. Laut der Studie ist im Durchschnitt bei 32 Prozent der Server und bei 31 Prozent der Storage-Systeme eine Aufrüstung nötig. Dell setzt hier darauf, dass sie den Kunden sowohl passende Server als auch Storage-Systeme anbieten können. Bereits Ende 2024 hat der Hersteller daher angekündigt, seine Powerscale-Plattform für unstrukturierte Daten und deren Betriebssystem OneFS für den KI-Einsatz zu optimieren. Dabei werden laut Dell mit neuen MetadataIQ-Funktionen alle erfassten unstrukturierten Dateien automatisch mit Metadaten versehen und diese für die weitere Verarbeitung in Elasticsearch-Datenbanken exportiert.

Vom Trend zum lukrativen Geschäft

Distributoren haben neue Speicherchancen im Blick

Storage-Lösungen speziell für KI-Anwendungen

Einige Hersteller bringen Storage-Systeme auf den Markt, die für den Einsatz in KI-Anwendungen optimiert sind. Das jüngste Beispiel ist hier Flashblade//EXA von Pure Storage. Die Lösung ist primär für Anbieter von KI-Services gedacht, die sich unterhalb der Hyperscaler bewegen, und teil­weise noch für große Enterprise-Kunden oder Institutionen. Sie ist laut Hersteller nicht nur für große KI-Workloads, sondern auch für HPC-Anwendungen geeignet.

Die Besonderheiten an Flashblade//EXA sind die unabhängige Skalierung von Daten und Metadaten sowie eine Leseleistung von mehr als 10 Terabyte pro Sekunde in einem einzigen Name­space, die Pure Storage verspricht. Die mit dem Compute-Cluster verbundenen Flashblade-Systeme speichern hier die Metadaten mit sehr hoher Leistung, für die Nutzdaten werden handelsübliche, ebenfalls mit dem Compute-Cluster verbundene Data Nodes von Drittanbietern verwendet. Wie Markus Grau, Principal Technologist bei Pure Storage, verrät, wird sein Unternehmen ebenfalls ein passendes Storage-Device auf den Markt bringen, dessen Design auf den Storage-Servern basiert, die Meta mit Pure-Storage-Software betreibt. Der Ansatz von Pure Storage ist ­dabei die Schaffung einer skalierbaren Speicherplattform für KI, die den unterschiedlichen Ansprüchen unterschiedlicher KI-Workloads und Datentypen gerecht wird und dabei ein einheitliches Management bietet. Bei Flashblade//EXA sollen die separaten Metadaten-Nodes dafür sorgen, dass der Zugriff auf die beim Training übliche riesige Menge an kleinen Files schnell vonstatten geht.

Mit dem Oceanstor A800 hat auch Huawei ein für KI-Anwendungen zugeschnittenes Storage-System entwickelt: Mit 24 Millionen IOPS und 500 Gb/s Bandbreite pro Controller-Gehäuse, die das Laden von Trainingssets mit extrem vielen kleinen Dateien besonders gut bewältigen, verspricht der Hersteller. Jedes 8U-Controller-Gehäuse fasst zwei Controller mit jeweils vier Kunpeng-920-Prozessoren sowie 64 Palm-NVMe-SSDs mit einer Brutto-Kapazität von zusammen bis zu 983,4 TB. Zudem bietet das System Steckplätze für zusätzliche DPUs für die Trennung von Daten- und Control-Schicht sowie GPUs, die Offloading-Aufgaben übernehmen können. Bis zu 512 Controller können zu einem Cluster zusammengefasst werden. Das System nutzt NPUDirect Storage (NDS) für eine direkte Kommunikation mit den GPUs in Compute-Clustern und stellt einen persistenten Key-Value-Cache bereit, der bei längeren Konversationen mit KI-Chatbots das Zwischenspeichern unterstützt. Zudem soll das schnellere Laden von beim Training erzeugten Checkpoints für eine bessere Auslastung der GPU-Server sorgen. Wie der Storage-Spezialist André Brinkmann, Professor an der Universität Mainz, anmerkt, nutzt die chinesische KI-Firma Moonshot AI mit Mooncake Store ein ähnliches Konzept eines KV-Caches für ihren Chatbot Kimi.

NetApp setzt für Künstliche Intelligenz vor allem auf die Weiterentwicklung der eigenen Ontap-Software als Basis für eine KI. So ist zunächst geplant, einen globalen Metadatenservice und eine Vektordatenbank in Ontap zu integrieren, verrät Johannes Pape, Head of AI Sales & GTM, EMEA & LATAM bei dem Hersteller. Damit soll im Zusammenspiel mit Nvidia die Nutzung von NIMs (Nvidia Ingest Microservices) für KI-Anwendungen erleichtert werden. Ziel ist der Aufbau einer Ontap-Datenplattform für KI mit einer disaggregierten Infrastruktur, bestehend aus Compute-Nodes mit Ontap-Software und separaten Storage-Units, die gemeinsam einen einzelnen Storage-Pool mit Zugriff auf alle Daten und Meta­daten bilden. Das System nutzt dabei NetApps WAFL für File-, Block- und Object-Storage. Unabhängige Micro-Filesystem-Instanzen sollen dafür sorgen, dass parallele Datenzugriffe mit maximaler Performance möglich sind.

Storage-Software für KI

Damit folgen NetApp und ein Stück weit auch ­Pure Storage dem Ansatz von Vast Data mit Disaggregated Share Everything (DASE) mit getrenntem Compute- und Storage-Layer sowie separater Logik- und Statusschicht. Gemeinsam mit Nvidia hat Vast Data die Insight Engine aus der Taufe gehoben, bei der NIMs direkt auf den Compute-Nodes der Vast Data Platform laufen. Die Hardware stammt hier von Technologie-Partnern wie HPE, Lenovo, Cisco oder Supermicro. Hitachi Vantara hat sich dagegen mit dem Parallel-File-System-Anbieter Weka zusammengetan und nutzt dessen WekaFS unter der Bezeichnung HCFS (Hitachi Content Software for File) in der eigenen KI-Lösung Hitachi iQ, die Nvidias DGX-Systeme oder Server mit Nvidias HGX-Plattform mit VSP One für das Storage kombiniert. Scality ist als weiterer Hersteller ohne eigene Hardware ebenfalls im Rennen um Kunden für KI-Storage-Lösungen. Der Software-Anbieter, der mit Lenovo, Supermicro, Dell und HPE kooperiert, sieht seine für KI-Anwendungen ausgelegte Objektspeicherlösung Ring XP, die sich durch sehr niedrige Latenzen beim Zugriff auf kleine Objektdaten auszeichnen soll, gemeinsam mit Ring als Komplettlösung für KI-Datenpipelines. Letzteres soll dabei als Objektspeicher für sehr große KI-Data-Lakes dienen. Auf der GTC im März hat Nvidia die AI Data Platform vorgestellt, die als Referenzdesign für Storage-Hersteller dienen soll und beispielsweise die Bluefield DPUs und Spectrum-X-Netzwerkkomponenten von Nvidia nutzt.

KI und Container

Eine wichtige Rolle für die KI-Nutzung spielen dabei Container und deren Management. So stellt Nvidia NIM die unterschiedlichen GPU-beschleunigten Inferencing-Microservices in Form von Containern bereit, die über APIs in KI-Anwendungen oder Frameworks integriert werden. Auch sonst setzt Nvidia für KI-Anwendungen primär auf Container, um so Vorteile wie die Portabilität, die Skalierbarkeit und die Sicherheit durch Isolation zu nutzen. Auf der Nvidia GPU Cloud (NGC), seinem Portal für Enterprise-Dienste, Software und Verwaltungstools, bietet der GPU-Hersteller einen umfangreichen Katalog an GPU-beschleunigten, optimierten und getesteten KI-Containern, mit Frameworks und Bibliotheken an. Dieser Fokus auf Container eröffnet Herstellern wie NetApp oder Pure Storage mit Portworx und deren Partnern die Möglichkeit, ihren Kunden entsprechende Lösungen für das Datenmanagement auf Kubernetes zu offerieren und bei der Umsetzung zu unterstützen.

Weiter im Trend: Flash statt HDD

Auch jenseits von KI gibt es Neues in der Welt der Storage-Systeme. IBM unternimmt mit dem Storagesystem C200 einen weiteren Anlauf, HDD-basierte oder Hybrid-Systeme aus den Rechenzentren zu verdrängen. Das neue System nutzt das vom Storagesystem 7300 bekannte 2U-Gehäuse. Auf den beiden Controllern werden allerdings schwächere Intel-Xeon-Prozessoren mit acht Cores eingesetzt und in den 24 Laufwerksschächten sitzen QLC-SSDs mit jeweils 46 TB Kapazität, von der ein Teil als SLC-Cache verwendet wird. Allerdings nutzt IBM hier keine Standard-SSDs, sondern seine eigenen FlashCore Modules der vierten Generation. Auf ihnen sitzt jeweils ein FPGA als Controller, der zusätzliche Aufgaben wie die Datenkompression für bis zu 2,3 PB nutzbare Kapazität, die Verschlüsselung sowie die Verwaltung des Variable Stripe RAID (VSR) auf dem Modul übernimmt. IBM verspricht, dass die Module bis zu 5,5-mal mehr Schreibzyklen übersteht als herkömmliche QLC-SSDs mit gleicher Kapazität. Zudem soll der Controller auf den Modulen eine KI-unterstützte Ransomware-Erkennung direkt auf SSD-Ebene ermöglichen. Der Preis pro TB liegt beim C200 allerdings um den Faktor 2,5 höher als bei Hybrid-Systemen, soll das aber durch seine höhere Effizienz und Performance wettmachen.

Mit den drei neuen Systemen A20, A30 und A50 aus der ASA-Serie rundet NetApp sein Angebot an All-Flash-Appliances für Block-Storage nach unten ab. Die Geräte sollen einfacher und stromsparender sein als Angebote anderer Hersteller. Zudem sind die für geschäftskritische Datenbanken oder virtuelle Maschinen bestimmten Systeme laut Hersteller mit einem Startpreis von etwa 24.000 Euro um 30 bis 50 Prozent günstiger.

Block-Storage-Lösungen von NetApp

Günstige ASA-A-Systeme und hybride Cloud

KI für Storage

Die Nutzung von KI in Storage-Systemen liegt generell im Trend, allerdings auf Systemebene. So wird Machine Learning von einer ganzen Reihe von Herstellern genutzt, um abweichende Nutzungsmuster zu identifizieren, die auf einen Ransomware-Angriff hindeuten können. NetApp reklamiert für die in Ontap integrierte KI-gestützte Ransomware-Erkennung eine Trefferrate von 99 Prozent bei praktisch keinen Fehlalarmen. Sie kommt nun zusätzlich zum File- auch noch beim Block-Storage zum Einsatz. Der Hersteller nutzt dafür die Rechenleistung der Sapphire-Rapids-Prozessoren auf den Controllern. Huawei geht hier einen anderen Weg und setzt in den neuen Storage-Systemen wie dem Oceanstore A800 oder der kommenden Oceanstor-Dorado-V7-Generation eigene Funktionsmodule in Form spezieller PCIe-Karten ein, um hier die CPUs zu entlasten. Als Erleichterung für das Management der Systeme per KI hat Pure Storage einen Chatbot angekündigt, der Zugriff auf Handbücher, Support-Anfragen und die Telemetriedaten der Systeme hat. Er soll so das IT-Personal unterstützen und viele Supportanfragen überflüssig machen. Wie Professor Brinkmann anmerkt, könnten KI-Funktionen beim Systemparameter-Tuning helfen.

DSX Data Storage Conference 2025

Security, KI und Datenboom bringen Storage-Experten ins Schwitzen

(ID:50356361)