Lücke zwischen KI-Einsatz und Kontrolle Autonome KI läuft der Governance davon

Anbieter zum Thema

Optro

Sangfor Technologies

European IT Consultancy EITCO GmbH

mibeca GmbH – Mike Bergmann Akademie

Jedes dritte Unternehmen setzt KI bereits in geschäftskritischen Resilienzprozessen ein. Doch nur wenige verfügen über aktive Risikokontrollen. Für IT-Systemhäuser entsteht ein neues Beratungsfeld: Governance für autonome Agenten.

30 Prozent der Unternehmen haben bislang nicht getestet, was passiert, wenn agentische KI die Kontrolle verliert oder fehlerhafte autonome Entscheidungen trifft. In Deutschland liegt der Anteil bei 25 Prozent. Gleichzeitig setzt bereits jedes dritte Unternehmen KI in geschäftskritischen Resilienzprozessen ein. Damit verschiebt sich auch die zentrale Governance-Frage. Nicht mehr nur die Verlässlichkeit einzelner KI-Ergebnisse steht im Mittelpunkt. Entscheidend wird, wie Unternehmen autonome Systeme steuern und kontrollieren.

Die bestehenden Strukturen sind darauf nur unzureichend vorbereitet. Verteilte Verantwortlichkeiten, regelmäßige Prüfzyklen und richtlinienbasierte Kontrollen wurden für überwachte oder manuelle Prozesse entwickelt. Systeme, die autonom und mit hoher Geschwindigkeit handeln, stellen diese Modelle vor grundsätzliche Grenzen.

Channel Fokus Agentic AI

KI-Agenten unter Volllast

Vertrauen wächst schneller als Kontrolle

58 Prozent der befragten Führungskräfte gehen davon aus, dass ihre Governance-Maßnahmen mit der KI-Einführung Schritt halten. Tatsächlich verfügen laut Bericht jedoch nur 18 Prozent über aktive Maßnahmen zur Risikominimierung.

Die Folgen dieser Lücke zeigen sich bereits:

• 40 Prozent der Unternehmen berichteten in den vergangenen zwölf Monaten von fehlerhaften KI-Ergebnissen.

• 27 Prozent meldeten Datenschutzverletzungen im Zusammenhang mit KI.

• 26 Prozent waren von behördlichen Maßnahmen betroffen.

• Fast zwei Drittel erlebten mindestens einen Vorfall mit KI-Agenten, der zu Datenlecks, Betriebsunterbrechungen oder finanziellen Schäden führte.

Für die Unternehmensleitung reicht es deshalb nicht aus, KI-Anwendungen freizugeben und ihre Ergebnisse stichprobenartig zu prüfen. Notwendig sind klare Zuständigkeiten, nachvollziehbare Kontrollmechanismen und definierte Eingriffs- und Eskalationswege.

„Die Realität ist, dass die Einführung agentischer KI die bestehenden Governance-Strukturen bereits heute überholt“, stellt Guru Sethupathy, General Manager für KI-Governance bei Optro, fest. Governance müsse neu gedacht werden, damit Unternehmen KI schneller, sicherer und verlässlicher skalieren könnten.

Agenten werden zu nichtmenschlichen Identitäten

Autonome KI-Agenten authentifizieren sich, greifen auf Systeme zu und führen eigenständig Aktionen aus. Damit erhalten sie faktisch die Rolle nichtmenschlicher Identitäten. In vielen Unternehmen bleiben sie jedoch unsichtbar.

Besonders problematisch ist der Einsatz durch Fachbereiche. Mitarbeitende integrieren KI-Agenten in Prozesse, ohne dass die IT-Abteilung davon Kenntnis hat. Zwar haben 85 Prozent der Unternehmen KI bereits in ihre Kernprozesse integriert. Nur ein Viertel besitzt laut Optro jedoch einen umfassenden Überblick darüber, wie Mitarbeitende diese Technologien tatsächlich nutzen.

Agentic AI

KI-Agenten: vom Brandbeschleuniger zum Produktivitätsturbo

Für Sicherheits- und Compliance-Verantwortliche entsteht damit eine zusätzliche Schattenlandschaft. Neben klassischen Benutzerkonten, Anwendungen und Schnittstellen müssen auch Agenten erfasst und kontrolliert werden. Relevant sind dabei unter anderem folgende Fragen:

• Welche Agenten existieren im Unternehmen?

• Unter welcher Identität authentifizieren sie sich?

• Auf welche Systeme und Daten dürfen sie zugreifen?

• Welche Aktionen dürfen sie selbstständig ausführen?

• Wer trägt die Verantwortung für ihre Entscheidungen?

• Wie wird ein fehlerhaftes oder missbräuchliches Verhalten gestoppt?

Nahezu die Hälfte der Sicherheitsverantwortlichen zählt agentische KI bereits zu den größten Sicherheitsrisiken. Der Satz „Die KI hat entschieden“ wird dabei weder für interne Kontrollen noch gegenüber Aufsichtsbehörden ausreichen. Hinter Entscheidungen mit Auswirkungen auf Kunden, Märkte oder regulatorische Meldungen muss weiterhin ein namentlich benannter und rechenschaftspflichtiger Mensch stehen.

KI zwischen Regulierungen und „Laisser-faire“

KI-Revolution: Wer trägt die Verantwortung?

Deutscher Mittelstand erwartet neue Resilienzrisiken

Auch deutsche Unternehmen rechnen mit wachsenden Problemen bei der Verantwortungszuordnung. 36 Prozent erwarten, dass klare Zuständigkeiten für autonome KI-Systeme künftig zu den größten Herausforderungen für Business Continuity und Resilienz zählen werden.

Der Zeitpunkt für den Aufbau geeigneter Strukturen ist damit nicht beliebig verschiebbar. Unternehmen, die Verantwortlichkeiten jetzt definieren, können ihre Governance-Modelle selbst gestalten. Wer abwartet, muss voraussichtlich unter dem Druck regulatorischer Auflagen, von Abhilfemaßnahmen oder nach einem Sicherheitsvorfall reagieren.

Was das für IT-Dienstleister bedeutet

Für IT-Dienstleister entsteht ein Beratungsfeld, das über die technische Einführung einzelner KI-Anwendungen hinausgeht. Die entscheidende Weichenstellung liegt nicht allein in der Auswahl eines KI-Tools. Sie betrifft die Frage, wer autonome Systeme überwacht, begrenzt und im Ernstfall stoppt. Für Systemhäuser eröffnet das die Möglichkeit, aus der KI-Einführung ein dauerhaftes Governance- und Resilienzgeschäft zu entwickeln.

Naheliegende Leistungsbausteine sind:

• Agenten-Inventar aufbauen: Erfassung eingesetzter KI-Agenten einschließlich ihrer Identitäten, Schnittstellen und Zugriffsrechte

• Verantwortlichkeiten definieren: Zuordnung namentlich benannter Verantwortlicher für kritische Entscheidungen und Aktionen

• Zugriffe und Aktionen begrenzen: Festlegung, auf welche Systeme ein Agent zugreifen und welche Handlungen er selbstständig ausführen darf

• Störungsszenarien testen: Prüfung von Kontrollverlust, fehlerhaften Entscheidungen, Datenlecks und Betriebsunterbrechungen

• Kontrollen dokumentieren: Nachvollziehbare Nachweise für Governance, Risikominimierung und Incident Response schaffen.

• Fachbereiche einbinden: Nicht nur die IT, sondern auch die Abteilungen müssen beim Einsatz von KI-Agenten erfasst und kontrolliert werden.

Damit kann das Systemhaus als Integrator, Sicherheitsberater und Betreiber von Governance-Prozessen auftreten. Die Grundlage bildet jedoch zunächst Transparenz. Ohne Überblick über eingesetzte Agenten bleiben auch Richtlinien und technische Kontrollen lückenhaft. Optro stellt nach eigenen Angaben dafür Governance-Infrastruktur und automatisierte Kontrollmechanismen bereit.

(ID:50927576)