Fujitsu Private GPT Die eigene KI im lokalen Datacenter

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Securepoint GmbH

Fsas Technologies GmbH

Fujitsu setzt bei KI auf Open Source und digitale Souveränität. Die Private-GPT-Lösung des Herstellers kombiniert Fujitsu-Server und Software mit Suse AI und dem europäischen Mistral-Modell in der deutschen Sauerkraut-Variante. Zum Ausprobieren für Kunden und Partner gibt es den kostenlosen AI Test Drive.

Bei Privatkunden sorgt der Begriff „KI“ inzwischen eher für Ablehnung bei der Kaufentscheidung für Produkte, wie jüngst eine Untersuchung der Washington State University in den USA gezeigt hat. In Unternehmen ist die Begeisterung für diese Technologien dagegen ungebrochen. Allerdings gibt es auch hier eine gewisse Skepsis, was die Investitionen und die Hoheit über die Daten angeht. Dem will man bei Fujitsu mit der Private-GPT-Lösung begegnen. Sie soll mit kalkulierbaren Kosten eine generative KI im eigenen Rechenzentrum der Kunden zur Verfügung stellen und dort mit den Daten der Kunden arbeiten, die so das eigene Datacenter nicht verlassen müssen. Zudem setzt Fujitsu dabei komplett auf Open Source, um das Vertrauen in die Lösung noch weiter zu steigern. Wie Udo Würtz, Chief Data Officer bei Fujitsu, ausführt, sind proprietäre Large Language Modelle in der Cloud zwar sehr leistungsfähig, laufen aber dort auf sehr großen Infrastrukturen, was die Kosten in die Höhe treibt. Zu welchen Kostenexplosionen beim Kunden das führen kann, illustriert Würz am Beispiel eines deutschen Automobilkonzerns. Der nutzte zunächst GPT 3.5 in der Cloud mit vertretbaren Kosten von 500 Euro im Monat. „Durch die Umstellung auf GPT-4 stieg die monatliche Rechnung auf 34.000 Euro im Monat“. Bei Fujitsus Private GPT kann das nicht passieren, hier ist der monatliche Preis im Rahmen des Uscale-Programms festgelegt. Für den Einsatz in Firmen sind die ganz großen Modelle auch gar nicht notwendig, erklärt Würtz. Fujitsu setzt daher auf in Frankreich entwickelte Open-Source-Modelle von Mistral, die bei Nvidia trainiert werden. Aktuell verwendet wird das für multilinguale Aufgaben entwickelte Mistral NeMo 12B in einer speziellen Sauerkaut-Version von Vago. Die deutsche Firma passt das Modell per Feintuning an die Anforderungen verschiedener Kundengruppen an und verbessert die Erkennung.

Mit im Boot sind zudem Suse für das Linux-Betriebssystem, die Container-­Orchestrierung mittels Rancher und Intel sowie Nvidia für die CPUs und die GPU im genutzten Primergy-Server. Der kommt mit einer GPU für das Modell aus. Das Inferencing und das RAG übernehmen die Sapphire-Rapids-Prozessoren von Intel. Weitere Partner sind das Transferinstitut für Digitalisierung, Analytics und Data Science Ulm (DASU), sowie Juniper und NetApp für Netzwerk und Storage.

Als Kunden hat Fujitsu neben öffentlichen Auftraggebern, einschließlich Militär und Sicherheitsbehörden, eine Vielzahl von Branchen im Auge, die eine GenAI-Lösung suchen, die sie im eigenen Rechenzentrum betreiben können und somit die komplette Kontrolle über ihre Daten behalten. Zudem sieht der Hersteller auch Potenzial bei seinen Partnern, die mit Private GPT ein Hosting-Angebot machen oder eigene Erweiterungen entwickeln können. Mit dem AI Test Drive in Frankfurt bietet Fujitsu Kunden und Partnern zusätzlich eine Möglichkeit, KI-Anwendungen mit der Hilfe von Consultants ohne Kosten auszuprobieren. Der auf Suse AI basierende Software-Stack ist zwar auf Sicherheit und Datenhoheit ausgelegt, Würz empfiehlt aber trotzdem die Nutzung mit Testdaten statt sensibler Firmeninformationen. Wir der Fujitsu-CDO betont, nutzen insgesamt mehr als 240 Kunden entweder das AI Test Drive oder setzen Private GPT bereits ein.

Die Private-GPT-Lösung und das AI Test Drive werden permanent weiter entwickeln. Auf der Roadmap stehen unter anderem die Verbesserung der Vektordatenbank, der Bilderkennung und die Nutzung multimodaler Modelle. Beim Funktionsumfang wird aktuell an der Verbesserung der Sprachkompatibilität sowie der Kombination von LLM und OCR gearbeitet. Weitere Schritte sind zusätzliche Datenquellen wie Webseiten und Confluence sowie eine Chat-API.

Ihnen gefällt dieser Artikel? Mehr exklusive Inhalte finden Sie in unserer E-Paper-Ausgabe!

Aktuell und auf einen Blick lesen Sie hier die Top-News aus dem Channel, sowie fundiert recherchierte Fachbeiträge zu Trends und Themen der Branche!

Hier geht es zum aktuellen E-Paper!

Von KI bis Klimawandel, von Cloud bis Quantencomputing

Digitale Transformation ist Chefsache

Experience Days 2024

Fujitsu setzt auf digitale Souveränität

(ID:50133803)