Channel Fokus: Server & Edge Computing KI vor und hinter den Kulissen

Von Klaus Länger 7 min Lesedauer

Anbieter zum Thema

Der KI-Boom läuft weiter und ist maßgeblich für das Wachstum im Server-Markt verantwortlich. Das spielt sich zwar zu einem großen Teil bei den großen Cloud-Anbietern ab, aber in Europa wird wieder mehr in lokale Infrastrukturen als Teil hybrider Lösungen investiert.

KI-Agenten sollen die Automatisierung des Datacenter-Managements auf eine neue Ebene heben.(Bild: ©  Fidel - stock.adobe.com)
KI-Agenten sollen die Automatisierung des Datacenter-Managements auf eine neue Ebene heben.
(Bild: © Fidel - stock.adobe.com)

Ein sattes Wachstum von 45 Prozent für den weltweiten Servermarkt in diesem Jahr haben die Auguren von IDC Ende Juni prognostiziert. Es wird allerdings primär vor allem von den riesigen Rechenzentren mit GPU-Servern für KI-Anwendungen getrieben, die vor allem in den USA und auch in China entstehen. Daher legt im weltweiten Maßstab auch die Kategorie der ARM-Server mit GPU überproportional zu und wächst um 70 Prozent auf nun mehr als 20 Prozent Gesamtanteil. Denn diese Maschinen werden überwiegend von den US-Hyperscalern oder, aus eigener Produktion mit Huawei-Prozessoren, in China eingesetzt. Für die EMEA-Region sagen die IDC-Marktforscher für das Jahr 2025 ein Plus von 7 Prozent im Vergleich zu 2024 voraus.

Server-Workloads kommen aus der Cloud zurück

Rocco Frömberg, Leiter Vendor Development & Operations bei TIM.(Bild:  Tim AG)
Rocco Frömberg, Leiter Vendor Development & Operations bei TIM.
(Bild: Tim AG)

Laut Rocco Frömberg, Leiter Vendor Development & Operations bei TIM, zeigt der Server-Markt in diesem Jahr auch in Deutschland wieder deutliches Wachstum, vor allem im On-Premises-Segment. Er ergänzt: „Während unserer Projektberatung hören wir dabei ähnliche Gründe, die bereits seit einigen Quartalen im Storage-Markt sichtbar sind: Ein beachtlicher Teil der Server-Workloads wird zurück in die eigene Infrastruktur geholt, vor allem wegen besserer Kostenkontrolle, aber auch aus Security- und Compliance-Gründen.“ Bei den Kunden entstehe eine hybride IT-Infrastruktur, „die Cloud-Agilität nutzt, aber Daten und Workloads gezielt ebenso unter On-Prem-Kontrolle stellen kann“.

Mario Glockner, Director Solu­tion Design bei Ingram Micro, sieht ebenfalls eine „Cloud-Repatriierung“ bei den Kunden. Diese setzen „zunehmend auf Hybrid-Modelle und holen Workloads zurück, da Kosten, Kontrolle und Compliance im Public-Cloud-Betrieb oft herausfordernder sind. Hybride Ansätze ermöglichen es, die Vorteile von Cloud- und On-Premises-Lösungen gezielt zu kombinieren.“

Weiter rasantes Wachstum bei KI-Lösungen

Mario Glockner, Director Solution Design bei Ingram Micro(Bild:  Gudrun Kaiser)
Mario Glockner, Director Solution Design bei Ingram Micro
(Bild: Gudrun Kaiser)

Laut Glockner gelte das auch für KI-­Anwendungen, die Unternehmen „zunehmend in ihre eigenen privaten oder hybriden IT-Umgebungen integrieren – ­getrieben von Anforderungen an Daten­hoheit, Effizienz und Sicherheit“. Auch hier können durch hybride Ansätze die Vorteile von Cloud und lokaler Infrastruktur gezielt kombiniert werden, betont der Director Solution Design bei Ingram Micro.

„Der Markt für KI-Systeme wächst rasant“, sagt Alexander Willig, Managing Consultant bei den Consulting & Professional Services von TIM. Dabei senken die schon geleistete Pionierarbeit und Open-Source-Plattformen mit vortrainierten Modellen die Einstiegshürden erheblich.

Glockner sieht dabei vor allem Inferenz-Workloads und RAG-Szenarien auf dem Vormarsch, was sich auch in den jüngsten Nvidia-Ankündigungen von Produkten für ein energieeffizientes Inferencing widerspiegelt. Ein Beispiel dafür ist der für Ende 2026 geplante Rubin CPX.

Mehr Interesse an KI für Edge-Anwendungen

Alexander Willig, Managing Consultant, Consulting & Professional Services bei TIM(Bild:  Tim AG)
Alexander Willig, Managing Consultant, Consulting & Professional Services bei TIM
(Bild: Tim AG)

Gleichzeitig wächst das Interesse an KI-Lösungen für Edge-Standorte. Laut Willig entstehen hier zunehmend Projekte im industriellen Umfeld. Der TIM-Consultant nennt als Beispiele die vorausschauende Wartung und die IoT-gestützte Qualitätssicherung. „Die Kombination aus niedriger Latenz, Echtzeit-Verarbeitung und wachsender Rechenleistung macht Edge-Computing zu einem entscheidenden Baustein in der KI-Landschaft“, so das Fazit von Willig. Glockner ergänzt, dass sein Unternehmen hier ebenfalls Szenarien wie Predictive Maintenance oder Echtzeit-­Bildanalyse sieht und die Partner praxis­orientiert bei der Umsetzung von Edge-­Projekten unterstützt.

Private GPT für das eigene Rechenzentrum

Fsas Technologies bietet Partnern und Kunden mit Private GPT eine, wie der Anbieter betont, souveräne GenAI-Lösung für das eigene Datacenter an. Sie läuft auf einem Standard-Primergy-Server mit zwei Intel-CPUs und einer Nvidia-L40S-Karte. Als Betriebssystem und Basis für die verschiedenen Container dient Suse SLES. Der AI-Core von Private GPT besteht aus dem LLM, einer Variante des europäischen Mistral NeMo, und einer RAG-Engine mit Milvus als Vektordatenbank und dynamischem Chunking für die Einbindung von Firmendaten. Die Kommunikation mit dem User läuft über ein Web-Interface. Seit der Version 1.3 enthält die Lösung zudem einen MCP-Server (Model Context Protocol) für den einfacheren Zugriff auf eigene Daten und als Basis für die Implementierung von KI-Agenten.

Server-Management mit KI-Hilfe und künftig KI-Agenten

Die Künstliche Intelligenz spielt nicht nur bei den Workloads im Datacenter eine rasant wachsende Rolle, sondern auch beim Betrieb von Servern und sonstiger Infrastruktur. Mit KI-Hilfe werden mögliche digitale Angriffe erkannt und abgewehrt, und die KI soll in Zeiten mangelnder Fachkräfte das Management der Systeme intelligent automatisieren und so das IT-Personal unterstützen. Beispiele dafür sind die Cloud-basierten Lösungen Dell AIOps oder XClarity One von Lenovo. Ein neuer Trend ist dabei der Einsatz von KI-Assistenten, die Aufgaben autonom erledigen können. Dabei kommen spezialisierte Assistenten für verschiedene Teilbereiche zum Einsatz, die miteinander kooperieren. Ein erstes Beispiel ist hier der im Juni auf der HPE Discover 2025 vorgestellte Service Greenlake Intelligence mit einer ganzen Reihe spezialisierter Agenten für Aufgaben wie Compute, Storage, Netzwerk, Orchestrierung, Observability, Fintech oder Security. Ein KI-Copilot dient zur Kommunikation mit dem IT-Personal.

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Paukenschlag: Nvidia investiert in Intel für den Bau von Kombi-Prozessoren

Geht es um Hardware für KI-Server, dann ist Nvidia derzeit der Platzhirsch. Ein Großteil der für KI-Training, Inferenz und RAG eingesetzten GPUs stammen von dem Hersteller, der an der Börse zwischenzeitlich das wertvollste IT-Unternehmen war. Die neue Blackwell-Ultra-GPU GB300 mit 288 GB HBM3e und der für 2026 geplante Nachfolger Rubin mit HBM4 beziehungsweise HBM4e für Rubin Ultra sollen diese Dominanz festigen. Die ARM-CPU Vera soll den bisher in reinen Nvidia-Systemen verwendeten Grace-Prozessor ablösen.

Nvidia Rubin CPX: Spezial-GPU für KI-Coding und KI-Videos

Für KI-Inferencing-Workloads wie die Generierung von Videos oder von Programmcode ist ein sehr großes Context-Window notwendig, das Millionen von Token umfassen kann, wobei ein Token die kleinste Informationseinheit in einer KI ist. In der Compute-Phase ist dabei primär Rechenleistung gefragt und weniger Speicherbandbreite. Daher hat Nvidia speziell für diese Aufgabe die Vera-Rubin-GPU entwickelt, die mit GDDR7 statt extrem teurem HBM arbeitet. Sie soll in entsprechenden Systemen die erste Inferencing-Phase, das Prefill, übernehmen und dann an die mit HBM ausgestatteten Rubin-GPUs für das Decoding übergeben. Ein Server-Einschub vereint bei Nvidias NVL144 CPX zwei Vera-CPUs, acht Rubin-CPX-GPUs und weitere acht herkömmliche Rubin-GPUs mit HBM4.

Die Vera-Rubin-NVL144-CPX-Plattform kombiniert Rubin-GPUs und Vera-CPUs mit speziellen Rubin-CPX-GPUs für das KI-Inferencing mit hohen Kontext-Anforderungen.(Bild:  Nvidia)
Die Vera-Rubin-NVL144-CPX-Plattform kombiniert Rubin-GPUs und Vera-CPUs mit speziellen Rubin-CPX-GPUs für das KI-Inferencing mit hohen Kontext-Anforderungen.
(Bild: Nvidia)

AMD versucht den Konter mit den neuen Datacenter-GPUs der Instinct-MI350-Serie und dem kompletten KI-System Helios, das eine Alternative zu Nvidias GB200 NVL72 und GB300 NVL72 darstellen soll. Zudem baut der Hersteller sein Software-Ökosystem für KI-Lösungen weiter aus und arbeitet bereits mit MI400 an der nächsten GPU-Generation, die bei allen KI-Workloads glänzen soll. Intel ist im KI-Rennen mit dem zu spät auf den Markt gebrachten Gaudi 3 abgeschlagen und hat die für dieses Jahr geplante Datacenter-GPU Falcon Shores faktisch beerdigt.

Ob der designierte Nachfolger Jaguar Shores im kommenden Jahr überhaupt noch kommen wird, ist fraglich. Denn Nvidia und Intel haben gemeinsam angekündigt, dass Nvidia fünf Mrd. US-Dollar in Intel investieren wird und sich damit eine enge Zusammenarbeit erkauft. So werden beide Hersteller die Entwicklung einer möglichst schnellen und problemlosen Verbindung von Intel-CPUs und Nvidia-GPUs mittels Nvidias NV Link vorantreiben. Und es soll von Intel Custom-Prozessoren für das Datacenter, bestehend aus Intel-CPU-Cores und Nvidia-GPU geben, die Nvidia in eigene KI-Infrastruktur-Plattformen integrieren und den Kunden anbieten wird.

Diese historische Zusammenarbeit verbindet den KI- und Accelerated-Computing-Stack von NVIDIA eng mit den CPUs von Intel und dem riesigen x86-Ökosystem – eine Verschmelzung von zwei Weltklasse-Plattformen. Gemeinsam werden wir unsere Ökosysteme erweitern und den Grundstein für die nächste Ära des Computing legen.

Jensen Huang, CEO und Gründer, Nvidia

Die Entwicklung eigener ARM-Prozessoren wird Nvidia trotz der Investition fortführen und es wird sicher auch eine weitere Zusammenarbeit mit AMD geben. Für das Datacenter wenig relevant aber trotzdem spannend: Es sollen auch Intel-Client-CPUs mit Nvidia-RTX-Grafik entstehen.

AMD mit großem Wachstum bei Server-CPUs

Das dürfte zukünftig erhebliche Auswirkungen auf den Markt für Server-Prozessoren haben. Denn dort lief es zuletzt nicht gut für Intel: Laut Mercury Research konnte AMD mit den aktuellen Zen-5-Prozessoren der Epyc-Turin- und den für Edge-Computing ausgelegten Zen-4-CPUs der Epyc-Siena-Serie einen Marktanteil von inzwischen 27,3 Prozent erreichen. Der Umsatzanteil liegt sogar bei 41 Prozent, was zeigt, dass AMD bei den höherpreisigen CPUs klar die Nase vorn hat, während Intel mit der aktuellen Xeon-6-Generation keine Kehrtwende geschafft hat. Daran trägt sicher der nicht mehr konkurrenzfähige Intel-3-Herstellungsprozess einen Anteil. Die kommende Xeon-7-Generation, bestehend aus Diamond Rapids mit voraussichtlich bis zu 192 Panther-Cove-P-Cores, bis zu 16 DDR5-Speicherkanälen und PCI-Express 6.0 wird im 18A-Verfahren hergestellt, ebenso wie der Sierra-Forest-Nachfolger Clearwater Forest mit bis zu 288 E-Cores der schnelleren Darkmont-Generation. Hergestellt werden beide CPUs in einer Foveros-3D-Technologie mit einer größeren Anzahl von Chiplets. Ob es Kombinationen aus Diamond Rapids und Clearwater Forest und Nvidia-Rubin-GPU geben wird, oder erst mit den jeweiligen Nachfolgern, ist angesichts der langen Entwicklungszeit von Prozessoren noch offen.

Die Compute-Chiplets von AMDs kommender Epyc-Generation mit dem Codenamen Venice werden bei TSMC in deren neuem N2-Prozess hergestellt. AMD-Chefin Lisa Su und TSMC-CEO Che-Chia Wei zeigen einen der ersten Wafer.(Bild:  AMD)
Die Compute-Chiplets von AMDs kommender Epyc-Generation mit dem Codenamen Venice werden bei TSMC in deren neuem N2-Prozess hergestellt. AMD-Chefin Lisa Su und TSMC-CEO Che-Chia Wei zeigen einen der ersten Wafer.
(Bild: AMD)

Allerdings trifft Granite Rapids im kommenden Jahr auf AMDs Epyc-Prozessoren der Venice-Generation mit wohl bis zu 256 Zen-6-Cores, verdoppelter Speicherbandbreite und ebenfalls PCI-Express 6.0. Die Produktion wird bei TSMC im fortschrittlichen N2-Verfahren stattfinden. Bei den Top-Modellen werden beide Hersteller der Server wohl kaum mehr um eine Wasserkühlung herumkommen, da eine Leistungsaufnahme von 500 Watt und mehr im Raum steht. Darauf müssen sich dann auch die Betreiber der Rechenzentren und gegebenenfalls deren Dienstleister einstellen.

ARM-Prozessoren bleiben für den Channel eine Nischenlösung

ARM-Prozessoren werden auch im kommenden Jahr in den Servern der Systemhauskunden weiter keine große Rolle spielen. Deren Zahl wächst zwar bei den Hyperscalern, die entweder gleich ihre eigenen ARM-CPUs verwenden oder die Kombilösung von Nvidia, aber nicht bei den Servern für die Kunden des IT-Channels. Ampere Computing versucht zwar, mit den eigenen Ampere-One- und Altra-Prozessoren diese Kunden zu adressieren, hat das aber bisher nicht geschafft. Im März wurde Ampere vom ARM- Eigentümer Softbank übernommen.

(ID:50492523)