Scality Ring XP Superschneller Objektspeicher für KI-Anwendungen

Anbieter zum Thema

Scality

DataCore Software GmbH

Boston Server & Storage Solutions GmbH

Zadara Ltd.

Mit Ring XP bringt Scality eine speziell für KI-Anwendungen bestimmte Objektspeicherlösung auf den Markt, die sich durch sehr niedrige Latenzen beim Zugriff auf kleine Objektdaten auszeichnen soll. Er soll zusammen mit Ring eine eine Komplettlösung bilden.

Scality Ring XP soll als spezialisierte Objektspeicherlösung die Storage-Anforderungen von KI-Anwendungen für das Training und Feintuning von Modellen adressieren. Der Hersteller hat den Software Stack so modifiziert, dass das massenhafte Lesen und Schreiben von kleinen Objekten mit einer Größe von maximal 4 KB, mit Latenzen von wenigen hundert Mikrosekunden erfolgt. Gleichzeitig soll bei großen Objekten im Gigabyte-Bereich ein hoher Durchsatz erreicht werden. Eine derart niedrige Latenz bietet laut Scality derzeit nur Ring XP. So soll die ebenfalls auf Performance optimierte Object-Storage-Lösung Amazon S3 Express One Zone mit Latenzen zwischen 10 und 50 Millisekunden arbeiten. Proprietäre All-Flash-Storage-Appliances erreichen zwar ebenfalls sehr niedrige Latenzen unter einer Millisekunde, allerdings nur über das NFS-Protokoll, wie Scality betont. Performance-Daten für ihre S3-Interfaces für Object Storage, soweit vorhanden, veröffentlichen die Hersteller in der Regel nicht, so Giorgio Regni, CTO und Mitgründer von Scality.

Angepasste API für höhere Performance

Ring XP baut auf demselben Software-Stack auf, wie Ring und verfügt so über dieselben Funktionen wie Erasure Coding, Selbstheilung oder Replikation. Allerdings haben die Entwickler den Object Stack bei Ring XP vereinfacht und einige Funktionen entfernt, die für KI-Anwendungen nicht benötigt werden. Als Beispiel nennt der Hersteller die Entfernung des Object Listing, das sowieso von Data-Lake-Management-Systemen übernommen wird. Die Object Storage API wurde bei Ring XP ebenfalls vereinfacht, um die Leistung zu optimieren. Die Software kann zudem so konfiguriert werden, dass kleine Objekte nur repliziert und nicht via Erasure Coding verteilt werden, was die Zugriffe beschleunigt. Laut Scality werden beim KI-Training viele Zwischendatenstände verwendet, die nicht dauerhaft benötigt werden. Hier kann für eine minimale Latenz die Redundanz auf Null gesetzt werden. Scality spricht von einem Scratch-Storage-Modus. Eine Resilienz gegen Cyberangriffe durch integrierte CORE5-Funktionen für Sicherheit und Datenschutz sind ebenfalls in Ring XP enthalten.

Als Plattform für Scality Ring XP dienen derzeit acht verschiedene All-Flash-Storage-Server von Lenovo, Supermicro, Dell oder HPE mit AMD-Epyc-Prozessor und schnellen NVMe-SSDs als Referenzplattformen. Dabei sollten für optimale Latenzen CPUs mit vielen Cores zum Einsatz kommen.

Ring XP und Ring als Komplettlösung für KI-Datenpipelines

Scality sieht Ring XP und Ring als Komplettlösung für das Speichermanagement von KI-Datenpipelines. Ring soll dabei als Objektspeicher für sehr große KI-Data-Lakes dienen, als skalierbares Repositorium für unstrukturierte Daten, dessen Kapazität bis in den Exabyte-Bereich reichen kann. Hier können Hybrid-Storage-Server genutzt werden, die laut Scality trotzdem hohe Durchsatzraten erreichen kann, die etwa für das Filtern der Daten notwendig sind. Auf Ring XP wird dann ein kuratierter Datensatz für das Training und Feintuning der Modelle gespeichert, auf den die für das Training zuständigen GPU-Server dann mit hoher Performance zugreifen können. Als Vorteile für die Kombination von Ring und Ring XP nennt Scality das integrierte Lifecycle-Management für alle Phasen der Datenpipeline sowie die Verwaltung über ein gemeinsames Framework. Ring würde sich zudem durch das für Applikationen zugängliche Metadata-Tagging gut für den Aufbau von Vektordatenbanken für Retrieval Augmented Generation (RAG) eignen.

Für die Lizenzierung von Rind XP nutzt Scality dasselbe Subskripionsmodell wie bei Ring mit Laufzeiten von einem, drei oder fünf Jahren und Lizenzkosten, die von der Größe der genutzten Daten abhängen. Bisherige Ring-Kunden haben zudem unmittelbar Zugriff auf Ring XP.

Sichere Datenspeicher-Lösungen für Vertriebspartner

TD Synnex distribuiert Scality in DACH

Trends in der IT-Storage-Branche

Aufschwung mit KI, Security und Green-IT

(ID:50233289)