Scality Ring und Weka NeuralMesh Kombi-Lösung von Scality und Weka für KI-Workflows

Anbieter zum Thema

WEKA

Scality SA

DataCore Software GmbH

Impossible Cloud GmbH

Zadara Ltd.

KI-Anwendungen stellen hohe Anforderungen an die Storage-Infrastruktur, die skalierbar und performant sein muss. Scality mit dem Objektspeicher Ring und Weka mit dem Hochleistungs-Storage NeuralMesh tun sich zusammen, um diese Anforderungen zu erfüllen.

KI-Anwendungen benötigen unterschiedliche Storage-Architekturen, um optimale Ergebnisse liefern zu können. Die GPUs benötigen einen schnellen Flash-Speicher, der die Auslastung der kostspieligen GPUs maximiert und dafür sorgt, dass ein LLM (Large Language Model) eine schnelle Reaktion auf einen Prompt liefert.Gleichzeitig muss ein skalierbarer und günstiger Speicher für große Datensätze vorhanden sein. Scality und Weka haben eine gemeinsame Lösung entwickelt, die beides bieten soll. „Unsere Partnerschaft mit Weka eröffnet Unternehmen einen intelligenten Weg, die Wirtschaftlichkeit ihrer KI-Datenpipelines nachhaltig zu optimieren“, sagt dazu Erwan Girard, Chief Product Officer bei Scality. „Weka liefert die Performance, Scality die Skalierung. Gemeinsam unterstützen wir unsere Kunden dabei, Infrastrukturkosten und Management-Komplexität zu reduzieren und zugleich KI- und HPC-Umgebungen (High Performance Computing) mit maximaler Effizienz zu betreiben.“

Scality Ring mit NeuralMesh-Connector

Für die Skalierbarkeit und die Kosteneffizienz ist Scality zuständig. Ring ist eine Objektspeicher-Software für HDD-basierte Storage-Systeme, im eigenen Datacenter oder in der Cloud, die eine Skalierung bis in den Exabyte-Bereich ermöglicht. Der Hersteller verspricht dabei eine Verfügbarkeit von bis zu 14 Neunen (99,999999999999 Prozent). Wie Paul Speciale, Chief Marketing Officer (CMO) bei Scality, betont, fallen nicht nur bei multimodaler und generativer KI enorme Datenmengen an, sondern auch bei klassischem Machine Learning und Predictive Analytics sowie bei agentischer KI, also den KI-Anwendungen, die in der verarbeitenden Industrie und anderen Unternehmen zunehmend eingesetzt werden. Lokale NAS- oder SAN-Infrastrukturen eignen sich laut dem Scality-CMO für diese Daten weniger gut durch eingeschränkte Skalierbarkeit und höhere Kosten. Objektspeicher in der Public Cloud werfen hingegen Fragen zur Datensouveränität auf.

Wekas NeuralMesh ist dagegen auf Performance optimiert. Bei der im Juni letzten Jahres vorgestellten Lösung handelt sich ebenfalls um eine Storage-Software, die dafür ausgelegt ist GPU- und TPU-Systeme möglichst schnell mit Daten zu versorgen. Beim Training soll sie eine GPU-Auslastung von 93 Prozent ermöglichen, so der Hersteller. NeuralMesh ist eine Software-definierte Storage-Plattform, die aus Microservices aufgebaut ist. Der Name leitet sich von der dynamischen Mesh-Architektur her, in der auf jedem Node individuell orchestrierte Microservices laufen, die über ein Service-Mesh kommunizieren. Die einzelnen Container übernehmen Aufgaben wie die Metadaten-Verwaltung, I/O-Zugriffe, Protokolle, Datensicherung und Telemetrie. Gegenüber einer monolithischen oder Controller-basierten Architektur soll das Vorteile bei der Latenz, der Skalierbarkeit und der Zuverlässigkeit bringen.

KI-fähige Infrastruktur: Objektspeicher

Ohne Daten keine KI – der Erfolgsfaktor für Unternehmen

Object Connector für NeuralMesh als Verbindungselement

Die Verbindung zwischen Ring und NeuralMesh stellt der von Scality entwickelte Object Connector für NeuralMesh her. Der REST-basierte Connector etabliert eine Schnittstelle zwischen NeuralMesh und den Ring-Data-Services. Da die Metadatenverwaltung exklusiv durch NeuralMesh erfolgt, sollen Datenzugriffe um den Faktor Zehn schneller erfolgen, als bei traditionellem S3-Storage und auch die nötige Rechenleistung niedriger ausfallen. Neue und aktive Daten werden bei der gemeinsamen Lösung automatisch auf dem Flash-Tier von NeuralMesh gehalten, während kalte Daten in den Ring-Objektspeicher verschoben werden. Gegenüber Ceph soll die für NeuralMesh entwickelte Connector-Integration nicht nur eine höhere Performance, sondern auch eine höher Stabilität und einfachere Administration bieten, wichtig vor allem für den Enterprise-Einsatz. Scality Ring mit NeuralMesh Connector für Weka ist ab sofort verfügbar.

(ID:50763375)