Mobile-Menu

Sprachmodelle kontrollieren Souveräne KI: B.telligent prüft Modelle und Hardware

Von Agnes Panjas 2 min Lesedauer

Anbieter zum Thema

b.telligent Deutschland GmbH
WatchGuard Technologies GmbH
Enreach Deutschland
Soft & Cloud GmbH

KI-Anwendungen müssen Daten nicht an US-Anbieter senden: Frei verfügbare Sprachmodelle laufen auf eigenen Servern oder in kontrollierten europäischen Clouds. B.telligent berät Unternehmen von der Auswahl sinnvoller Anwendungen bis zum Betrieb.

KI im eigenen Haus: B.telligent möchte Unternehmen dabei helfen, Sprachmodelle selbst zu betreiben.(Bild: Gemini / KI-generiert)
KI im eigenen Haus: B.telligent möchte Unternehmen dabei helfen, Sprachmodelle selbst zu betreiben.
(Bild: Gemini / KI-generiert)

Wer heute eine KI-Anwendung baut, schickt seine Daten meist an einen Anbieter in den USA. Das muss nicht sein, denn frei verfügbare Sprachmodelle lassen sich inzwischen auf eigenen Servern betreiben oder in einer europäischen Cloud-Umgebung, die das Unternehmen selbst kontrolliert. Das Beratungsunternehmen B.telligent möchte Unternehmen ab sofort auf diesem Weg begleiten. Im Fokus stehen dabei sowohl die Frage, welche Anwendungen sich dafür überhaupt lohnen, als auch der laufende Betrieb.

Für die Umsetzung spricht die Unternehmensberatung Empfehlungen aus, die sich auf eigene Messungen berufen. Ein eigens entwickeltes Testverfahren prüft über ein Wochenende diverse Modelle von Coding Assistance bis Speech-to-Text auf einer festgelegten Hardware und beantwortet gleichzeitig die drei Fragen, die in Projekten immer wieder auftauchen:

  • Wie gut passt die Hardware?
  • Wie schnell antwortet das Modell?
  • Wie viele Menschen können gleichzeitig damit arbeiten?

Transparente Tests als Grundlage für die KI-Entscheidung

Sprachmodelle selbst kontrollieren und in Europa betreiben, aber wie? B.telligent liefert genau dafür ein eigenes Testverfahren mit Antworten und unterstützt Unternehmen beim Betrieb in eigener oder europäischer Cloud-Umgebung.(Bild: B.telligent)
Sprachmodelle selbst kontrollieren und in Europa betreiben, aber wie? B.telligent liefert genau dafür ein eigenes Testverfahren mit Antworten und unterstützt Unternehmen beim Betrieb in eigener oder europäischer Cloud-Umgebung.
(Bild: B.telligent)

„Die Frage ist selten, ob ein frei verfügbares Modell gut genug ist“, sagt Kai Kalchthaler, Geschäftsführer Deutschland bei B.telligent. „Die Frage ist, was es auf unserer Hardware leistet, für wie viele Menschen gleichzeitig und zu welchen Kosten im Monat. Genau diese Zahlen fehlen den meisten Wirtschaftlichkeitsrechnungen und ohne sie wird jede Anschaffung zur Wette. Wir messen deshalb selbst und legen offen, wie wir messen.“ Dadurch könne jeder nachrechnen, ob die Empfehlung trägt.

„Im eigenen Haus“ bedeutet für B.telligent dabei nicht zwangsläufig eigene Server im Keller: Auch eine selbst kontrollierte Umgebung bei einem europäischen Anbieter erfülle den Zweck.

In drei Schritten zum eigenen LLM-Modell

  • Am Anfang steht bei B.Intelligent eine Bestandsaufnahme: Abgefragt wird dabei, welche Anwendungsfälle am meisten bringen, wie sensibel sind die Daten dahinter sind, und welche Technik es schon gibt. Daraus wird eine Reihenfolge entwickelt, die sich abarbeiten lässt.
  • Im zweiten Schritt geht es um die Auswahl des Modells, die passende Hardware und darum, wie das Modell auf die firmeneigenen Dokumente zugreift.
  • Zum Schluss wird die Umgebung aufgebaut, die erste Anwendung angebunden und der Betrieb an das Team des Kunden übergeben.

(ID:50970811)

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte