KI-Plattform von Nvidia und VMware Generative KI und Multicloud – VMware und Nvidia

Anbieter zum Thema

VMWare Germany GmbH Ltd.

Dell GmbH

Lenovo Global Technology Germany GmbH

VMware Global Inc Zweigndl. Deutschland

NVIDIA GmbH

mehr weniger

WatchGuard Technologies GmbH

Fsas Technologies GmbH

Zadara Ltd.

weniger

Nvidia-Chef Jensen Huang kann sich vor Auftritten kaum retten und immer geht es um KI. Er gilt schon fast als Prophet auf diesem Gebiet. Das ist auch auf der „VMware Connect“ in Las Vegas so gewesen. Dort stand die „VMware Private AI Foundation mit Nvidia“ auf der Tagesordnung.

VMware Private AI Foundation mit Nvidia werde es Unternehmen ermöglichen, Modelle anzupassen und generative KI-Anwendungen auszuführen, darunter intelligente Chatbots, Assistenten, Suchfunktionen und Zusammenfassungen, heißt es in der Mitteilung von VMware. Die Plattform werde „eine vollständig integrierte Lösung mit generativer KI-Software und beschleunigtem Computing von Nvidia“ sein. Sie baue auf „VMware Cloud Foundation“ auf und sei für KI optimiert.

Natürlich bringt ein Auftritt von Jensen Huang auch Glanz auf die Bühne. Zum einen gilt der Nvidia-Chef als Vordenker, Visionär und Experte in Sachen (generativer) KI; denn die Hardware-Beschleuniger, die sein Unternehmen baut, ermöglichen das Training von KI-Modellen und -Inferenz-Systemen erst. Es gibt zwar auch Konkurrenz auf dem Markt, Akzeleratoren von AMD, Intel, Graphcore, doch ist Nvidia unbestritten Marktführer in Sachen KI.

Zum anderen hat Nvidia gerade seine sehr positiven Ergebnisse für das zweite Quartal veröffentlicht. Analysten von Statista, Anbieter für Markt- und Konsumentendaten, zweifelten vor drei Monaten noch. Demnach habe der Chiphersteller mit einem äußerst optimistischen Ausblick eine KI-getriebene Marktrallye ausgelöst, und die große Frage sei gewesen: Kann er liefern?

„Die Antwort ist ein überwältigendes Ja“, äußert Felix Richter von Statista. Nvidia habe seine eigene Umsatzprognose und die Erwartungen der Wall Street auf ganzer Linie übertroffen. „Und was vielleicht am wichtigsten ist: Die Prognosen des Unternehmens für das dritte Quartal versprechen noch mehr, nämlich einen weiteren enormen Umsatzsprung bei einer sehr hohen Bruttomarge.“

Apropos: Der Aktienkurs von Nvidia sprang bei der Eröffnungsglocke um 6 Prozent nach oben und brachte die Marktkapitalisierung des Unternehmens auf 1,23 Billionen US-Dollar.

Der US-Journalist Shelly Palmer, Professor of Advanced Media in Residence bei der Newhouse School of Public Communications und CEO von The Palmer Group, kommentiert die Nvidia-Ergebnisse ebenfalls: „Nvidia hat wieder einmal die transformative Kraft der KI unter Beweis gestellt. Der Gewinnbericht des Unternehmens für das 2. Quartal 2024 enthüllte einen atemberaubenden Umsatz von 13,5 Milliarden Dollar, der größtenteils auf die steigende Nachfrage nach seinen generativen KI-Chips zurückzuführen ist – eine rekordverdächtige Nachfrage, die die Herausforderungen einer schrumpfenden PC-Industrie in den Schatten stellt.“ Und er setzt hinzu: „Allein der Umsatz von Nvidia im Bereich der Rechenzentren beläuft sich auf 10,32 Milliarden US-Dollar, was eine Steigerung um mehr als das Doppelte in nur einem Quartal bedeutet. Der daraus resultierende Gewinn: 6,2 Milliarden US-Dollar, 843 Prozent mehr als im Vorjahr.“

Für das nächste Quartal rechnet Nvidia mit einem Umsatz von 16 Milliarden US-Dollar, wobei KI weiterhin der Haupttreiber sein wird. Der kommende KI-Chip des Unternehmens, der GH200, ist für Mitte 2024 geplant. „Während sich Nvidia darauf vorbereitet, die steigende Nachfrage zu befriedigen, haben die Konkurrenten (Intel und AMD) im Bereich der generativen KI-Siliziumchips noch keine nennenswerte Herausforderung dargestellt“, so Palmer.

Schier unendliches Potenzial

Zudem hat der Marktführer einen Aktienrückkauf im Wert von 25 Milliarden US-Dollar angekündigt – „ein Schritt, der üblicherweise unternommen wird, wenn die Führung eines Unternehmens der Meinung ist, dass seine Aktien unterbewertet sind. Dies zu tun, während sich der Aktienkurs auf einem Allzeithoch befindet, nachdem er sich in diesem Jahr mehr als verdreifacht hat, ist ein echtes Statement und ein Zeichen an diejenigen, die die Langlebigkeit von Nvidias Aufstieg in den Bereich der Mega-Caps in Frage stellen“, so Richter.

Künstliche Intelligenz ist somit offenbar ein zugkräftiges Pferd: McKinsey schätzt in dem diesjährigen Report „The economic potential of generative AI: The next productivity frontier“, dass generative KI den Umsatz der Weltwirtschaft jährlich um bis zu 4,4 Billionen US-Dollar steigern könnte. Nvidia-Chef Huang selbst sagte während des ‚Earnings Call“ des Unternehmens: „Die Welt hat Rechenzentren im Wert von etwa 1 Billion US-Dollar in der Cloud, in Unternehmen und anderswo installiert. Und diese Billionen Dollar an Rechenzentren sind dabei, in ein ‚Accelerated Computing‘ und generative KI überzugehen.“ Und er setzte hinzu: „Dies ist ein langfristiger Wandel in der Branche. Und Nvidia plant, im Zentrum dieses Wandels zu stehen.“

Kein Wunder also, dass sich die gesammelte IT-Welt im Nvidia-Glanz sonnen will und Huang von einem medienwirksamen Auftritt zum anderen eilt. Auf der VMware-Bühne hat er sich erwartungsgemäß wie folgt geäußert: „Unternehmen auf der ganzen Welt sind dabei, generative KI zu implementieren. Unsere intensivierte Zusammenarbeit mit VMware wird einer Vielzahl von Kunden aus den Bereichen Finanzdienstleistung, Gesundheitswesen, Fertigung einbeziehen und die umfassende Software und das Computing, das sie benötigen, um das Potenzial der generativen KI mit maßgeschneiderten Anwendungen, die mit ihren eigenen Daten erstellt werden, erschließen.“

Doch ist KI und insbesondere generative KI kein einfach einmal implementieren, Die Entwicklung, das Testen und den Einsatz solcher Anwendungen stellen für die meisten Unternehmen eine enorme Herausforderung dar. VMware Private AI Foundation mit Nvidia soll es ihnen ermöglichen, große Sprachmodelle anzupassen, sicherere und private Modelle für den internen Gebrauch zu erstellen, generative KI als Service für ihre Anwender anzubieten und Inferenz-Workloads in größerem Umfang sicher auszuführen.

Es ist eine Plattform, die voraussichtlich integrierte KI-Tools enthalten wird, mit denen Unternehmen bewährte Modelle, die auf ihren privaten Daten trainiert wurden, kosteneffizient ausführen können. Raghu Raghuram, CEO von VMware, konstatiert: „Generative KI und Multicloud sind die perfekte Kombination.“ Er erläutert: „Kundendaten sind überall – in Rechenzentren, am Edge und in Clouds. Gemeinsam mit Nvidia werden wir Unternehmen in die Lage versetzen, ihre generativen KI-Workloads vertrauensvoll neben ihren Daten auszuführen. Dabei werden gleichzeitig die Bedenken der Kunden hinsichtlich Datenschutz, Sicherheit und Kontrolle berücksichtigt.“

Die Plattform soll also folgende Vorteile mitbringen:

• Datenschutz: Kunden können KI-Dienste problemlos überall dort ausführen, wo sie Daten haben, und zwar mit einer Architektur, die den Datenschutz wahrt und einen sicheren Zugriff ermöglicht.

• Wahlfreiheit: Unternehmen haben eine große Auswahl bei der Erstellung und Ausführung ihrer Modelle – von „Nvidia Nemo“ bis „Llama 2“ und darüber hinaus – einschließlich führender OEM-Hardware-Konfigurationen und in Zukunft auch bei Public Cloud- und Service-Provider-Angeboten.

• Leistung: Die Ausführung auf einer Nvidia-Infrastruktur liefert in einigen Anwendungsfällen eine Leistung, die der von Bare Metal gleichkommt oder diese sogar übertrifft, wie aktuelle Branchen-Benchmarks zeigen.

• Skalierung im Rechenzentrum: Optimierungen der GPU-Skalierung in virtualisierten Umgebungen ermöglichen die Skalierung von KI-Workloads auf bis zu 16 vGPUs/GPUs in einer einzigen virtuellen Maschine und über mehrere Knoten hinweg, um die Feinabstimmung und Bereitstellung generativer KI-Modelle zu beschleunigen.

• Geringere Kosten: Maximale Nutzung aller Rechenressourcen (GPUs, DPUs und CPUs), um die Gesamtkosten zu senken und eine gepoolte Ressourcenumgebung zu schaffen, die effizient von verschiedenen Teams genutzt werden kann.

• Beschleunigtes Storage: Die „VMware vSAN Express-Storage“-Architektur bietet Performance-optimierten NVMe-Speicher und unterstützt „GPUDirect“-Speicher über RDMA, was eine direkte E/A-Übertragung vom Speicher zu den GPUs ohne CPU-Beteiligung ermöglicht.

• Beschleunigtes Networking: Die tiefe Integration zwischen „vSphere“ und der „NVSwitch-Technologie“ von Nvidia ermöglicht die Ausführung von Multi-GPU-Modellen ohne Engpässe zwischen den GPUs.

• Schnelle Bereitstellung und Time-to-Value: vSphere Deep Learning-VM-Images und Image-Repository ermöglichen schnelles Prototyping, indem sie ein stabiles, schlüsselfertiges Solution Image bieten, bei dem Frameworks und leistungsoptimierte Bibliotheken vorinstalliert sind.

Der Stack

Die Plattform wird somit Nvidia Nemo enthalten, ein durchgängiges, cloud-natives Framework, das Teil der „Nvidia AI Enterprise, dem Betriebssystem der AI-Plattform, ist. Es ermöglicht Unternehmen, generative KI-Modelle praktisch überall zu erstellen, anzupassen und einzusetzen. Nemo kombiniert Anpassungs-Frameworks, Guardrail-Toolkits, Datenkuratierungs-Tools und vortrainierte Modelle, um Unternehmen einen einfachen, kostengünstigen und schnellen Weg zur Einführung generativer KI zu bieten.

Für den Einsatz von generativer KI in der Produktion verwendet Nemo „TensorRT for Large Language Models“ (TRT-LLM), das die Inferenzleistung der neuesten LLMs auf Nvidia-GPUs beschleunigt und optimiert. Letztlich wird den Unternehmen dadurch ermöglicht, ihre eigenen Daten einzubringen, um benutzerdefinierte generative KI-Modelle in der Hybrid-Cloud-Infrastruktur von VMware zu erstellen und auszuführen.

Die Unterstützer

VMware Private AI Foundation mit Nvidia wird von Dell Technologies, Hewlett Packard Enterprise und Lenovo unterstützt. Diese Unternehmen gehören zu den ersten, die Systeme anbieten, die mit „Nvidia L40S“ GPUs, „Nvidia Bluefield-3“ DPUs und „Nvidia ConnectX-7“ SmartNICs die LLM-Anpassung und Inferenz-Workloads in Unternehmen optimieren.

Nach Herstellerangaben ermöglicht die GPU L40S eine bis zu 1,2-fach höhere generative KI-Inferenzleistung und eine bis zu 1,7-fach höhere Trainingsleistung im Vergleich zum Grafikprozessor „A100 Tensor Core“ des Herstellers. Die DPUs beschleunigen, entlasten und isolieren die Rechenlast von Virtualisierung, Netzwerk, Speicher, Sicherheit und anderen Cloud-nativen KI-Diensten von der GPU oder CPU. Und die SmartNICs von Nvidia liefern intelligente, beschleunigte Netzwerke für die Rechenzentrumsinfrastruktur.

(ID:49681776)