Mobile-Menu

Welche Rolle die Cloud bei Wächter-KIs hat Wenn KI über KI wachen soll

Von Dipl.-Phys. Oliver Schonschek 4 min Lesedauer

Anbieter zum Thema

Insider Research
Fsas Technologies GmbH
Zadara Ltd.
XOPERO SOFTWARE S.A.

Nicht nur die mangelnde Transparenz, sondern auch die schiere Menge an KI-Agenten macht die notwendige Kontrolle sehr schwierig. Will man die Überwachung von KI automatisieren, kommt wieder KI ins Spiel. Wie aber kann man dafür sorgen, dass die Wächter-KI zuverlässig, vertrauenswürdig und sicher ist? Hilft die Cloud bei dem scheinbaren Henne-Ei-Problem?

Automatisierte Kontrolle durch KI-gestützte Guardian Agents stellt neue Anforderungen an Vertrauen, Sicherheit und die Cloud als technologische Grundlage.(Bild: © Alexej - stock.adobe.com)
Automatisierte Kontrolle durch KI-gestützte Guardian Agents stellt neue Anforderungen an Vertrauen, Sicherheit und die Cloud als technologische Grundlage.
(Bild: © Alexej - stock.adobe.com)

KI-Risiken machen Kontrolle erforderlich

Künstliche Intelligenz (KI) ist bekanntlich Unterstützung und Risiko zugleich, wenn es um Security geht. Bei KI-Agenten gilt dies ganz besonders: Sie können bestimmte Aufgaben der Cybersicherheit übernehmen und nicht nur dabei assistieren. KI-Agenten arbeiten dabei (in Zukunft) autonom, das entlastet die Security-Abteilung, verschärft unter Umständen aber die Risikolage.

„Agentenbasierte KI ohne Richtlinien kann zu unerwünschten Ergebnissen führen“, sagt Avivah Litan, VP und Distinguished Analyst bei Gartner. „Wenn agentenbasierte KI-Systeme nicht mit klaren Leitplanken ausgestattet sind, können sie Fehlentscheidungen treffen oder Sicherheitsrisiken verursachen“.

Wie aber entwickelt man die Leitplanken und überprüft, dass sich die KI-Agenten auch daran halten? Hier kann erneut KI helfen, indem die Richtlinien möglichst automatisch entwickelt werden und die Kontrolle ebenfalls automatisiert wird.

Es ist aber nicht irgendeine KI, die eine andere KI überwacht. Gartner spricht hier von Guardian Agents. Diese setzen auf ein breites Spektrum agentischer Fähigkeiten und deterministischer, KI-gestützter Bewertungen, so Gartner. Dadurch sind Guardian Agents in der Lage, sämtliche Aktivitäten der Agenten zu überwachen, gezielt zu steuern und dabei eine Balance zwischen dynamischer Entscheidungsfindung und konsequentem Risikomanagement herzustellen.

Wächter-KIs bekommen entscheidende Rolle

Laut Einschätzung von Gartner werden Guardian-Agent-Technologien bis zum Jahr 2030 mindestens zehn bis 15 Prozent des Marktes für agentenbasierte künstliche Intelligenz ausmachen. Die KI-basierten Technologien, die speziell für vertrauenswürdige und sichere Interaktionen mit KI-Systemen entwickelt wurden, übernehmen eine doppelte Rolle.

Einerseits agieren sie als Assistenten, die Nutzer bei Aufgaben wie der Überprüfung, Überwachung und Analyse von Inhalten unterstützen. Andererseits entwickeln sie sich zunehmend zu halbautonomen oder sogar vollständig autonomen Agenten, die eigenständig Aktionspläne erstellen und umsetzen können – einschließlich der Fähigkeit, Handlungen umzulenken oder zu blockieren, um sie auf vorher definierte Ziele auszurichten.

„Die rasante Beschleunigung und zunehmende Handlungsfähigkeit von KI-Agenten erfordert eine Abkehr von der traditionellen menschlichen Aufsicht“, so Litan. „Während Unternehmen auf komplexe Multiagentensysteme umsteigen, die mit rasender Geschwindigkeit kommunizieren, können Menschen mit dem Potenzial für Fehler und böswillige Aktivitäten nicht Schritt halten. Diese eskalierende Bedrohungslandschaft unterstreicht den dringenden Bedarf an Wächteragenten, die eine automatisierte Überwachung, Kontrolle und Sicherheit für KI-Anwendungen und -Agenten bieten.“

CIOs sowie Sicherheits- und KI-Verantwortliche sollten sich laut Gartner auf drei Hauptnutzungsarten von Guardian Agents konzentrieren, um zum Schutz von KI-Interaktionen beizutragen:

  • Identifizieren und Überprüfen von KI-generierten Ausgaben und Inhalten auf Richtigkeit und akzeptable Verwendung.
  • Beobachten und Verfolgen von KI- und Agentenaktionen zur menschlichen oder KI-basierten Nachverfolgung.
  • Anpassen oder Blockieren von KI- und Agentenaktionen und -berechtigungen mithilfe automatisierter Aktionen während des Betriebs.

Da stellt sich aber die Frage, wer dann diese Wächter-Agenten überwachen soll? Und wenn es wiederum eine Wächter-KI für die Guardian Agents geben soll, welche Anforderungen muss diese erfüllen? Und wo wird sie betrieben werden?

Vertrauenswürdigkeit der Wächter-KI reicht nicht

Da Wächter-KIs besonders kritisch sind und ein sehr hohes Maß an Vertrauenswürdigkeit haben müssen, liegt der Gedanke nahe, dass Unternehmen ihre Wächter-KIs selbst betreiben. Dadurch lassen sich Compliance-Anforderungen und der Wunsch nach Datenhoheit selbst sicherstellen.

Die Frage ist aber, wie sich lokale Wächter-KIs nach gemeinsamen Richtlinien entwickeln und steuern lassen. Zudem müssten die lokalen Wächter-KIs besonders gut vor Manipulationen und Störungen geschützt werden.

Würde man die Wächter-KIs aus der Cloud beziehen oder in der Cloud betreiben, könnte eine Vereinheitlichung leichter hergestellt werden, ebenso könnte man die Wächter-Agenten auch zentral in der Cloud schützen und nicht etwa auf jedem Endgerät. Nicht zuletzt könnten die Wächter-Systeme dank Cloud auch eine hohe Performance erreichen, immerhin müssten sie die Aktivitäten der zu überwachenden KI-Agenten möglichst in Echtzeit vornehmen, um nicht zu Verzögerungen zu führen.

Das Prinzip bleibt: Normalverhalten lernen, Anomalien feststellen

Ein weiterer, wichtiger Punkt spricht dafür, dass die Cloud für Wächter-KIs zentral ist und bleiben wird. Grundsätzlich funktionieren die Kontrollverfahren über KI ja so, dass eine KI-Lösung zuerst das Normalverhalten lernt und dann auf Anomalien aufmerksam wird. Das gilt für Dateien, Apps und Nutzende genauso wie für KI-Agenten.

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Wächter-KIs müssten neben dem selbst Erlerntem eine Art Threat-Feed bekommen, der Hinweise enthält, welche Erfahrungen und Hinweise es gibt, welches Verhalten von KI-Agenten verdächtig erscheint. Dazu müssten sich die Wächter-KIs aber austauschen können. Nur innerhalb des eigenen Unternehmens könnten diese Hinweise aber zu limitiert sein. Gerade das externe Wissen über KI-Risiken ist wertvoll, um auch neuartige Gefahren durch KI-Agenten aufspüren zu können.

Offensichtlich gilt nicht nur wieder das bekannte Prinzip, wie Anomalien im Verhalten entdeckt werden, sondern auch die Notwendigkeit von hybriden Strukturen: Wird eine Wächter-KI lokal betrieben, wird sie ohne externes Bedrohungswissen nur schwer auskommen können. Eine Cloud-Komponente erscheint auch bei KI-Systemen notwendig, die über andere KIs wachen sollen.

Gleichzeitig bleibt der zentrale Ansatz „Human in the loop“ notwendig, alleine schon aus Compliance-Gründen. Wächter-KIs brauchen also die Cloud und uns Menschen, wobei auch wir Menschen und die Cloud wieder KI-Unterstützung bekommen.

(ID:50547010)

Weiterführende Inhalte

Jobs