Kontrollierte Automationsprozesse KI-Agenten beeinflussen die IT-Sicherheit

Von Natalie Forell 5 min Lesedauer

Anbieter zum Thema

Können KI-Agenten sicher in ein Unternehmen integriert werden, ohne Sicherheitsmaßnahmen zu reduzieren und neue Lücken zu öffnen? Alexander Waldmann von Applause zeigt auf, welche Hürden und Chancen KI-Agenten für die IT-Sicherheit bringen.

KI-Agenten können viele Aufgaben übernehmen und Unternehmen wertvolle Zeit und Kosten sparen. Doch dieser Vorteil bleibt nur bestehen, wenn die Sicherheit gewährleistet ist – dafür sind klare Berechtigungen und Regeln nötig.(Bild:  Midjourney / KI-generiert)
KI-Agenten können viele Aufgaben übernehmen und Unternehmen wertvolle Zeit und Kosten sparen. Doch dieser Vorteil bleibt nur bestehen, wenn die Sicherheit gewährleistet ist – dafür sind klare Berechtigungen und Regeln nötig.
(Bild: Midjourney / KI-generiert)

KI-Agenten können Unternehmensprozesse beschleunigen, stoßen jedoch an Grenzen, sobald sie auf Sicherheitsmechanismen treffen, die eigentlich für Menschen gedacht sind – und genau das kann Cyberkriminellen ein neues Einfallstor öffnen. Mit diesen Herausforderungen beschäftigt sich auch Applause, ein Crowdtesting-Unternehmen.

Alexander Waldmann, Vize President bei Applause(Bild:  Applause)
Alexander Waldmann, Vize President bei Applause
(Bild: Applause)

Alexander Waldmann, Vice President bei Applause und Experte für Künstliche Intelligenz, Automatisierung, digitale Zahlungsabwicklung und Sicherheit, betont im Gespräch mit IT-BUSINESS, dass KI-Agenten nur dann effizient arbeiten können, wenn „technische Freiheit und organisatorische Verantwortung“ gleichermaßen gegeben sind.

Hintergrund

Wer ist Applause GmbH?

Applause bietet eine vollständig verwaltete Testlösung, bei der digitale Produkte wie Apps, Websites oder IoT-Geräte von einer weltweiten Community (uTest-Community) in realen Umgebungen geprüft werden. Das Unternehmen wurde 2007 unter dem Namen uTest gegründet und deckt heute ein breites Spektrum an Testarten ab – von funktionalem und automatisiertem Testing über Payment- und Security-Tests bis hin zu Usability- und Voice-Testing. Auch spezielle Lösungen für KI kommen zum Einsatz. Der Fokus liegt auf Branchen wie Einzelhandel, Finanzwesen, Gesundheitswesen, Medien und Entertainment, Reisen, Telekommunikation sowie Glücksspiel. Geschäftsführer sind derzeit Jan Wolter und Chris Malone.

Der nächste Schritt nach generativer KI

KI-Agenten gelten als Weiterentwicklung generativer Modelle. Während klassische KI-Systeme oder Bots vor allem einzelne Aufgaben erledigen, arbeiten Agenten adaptiv. Sie verfolgen – nach einem ersten manuellen Impuls – selbstständig vorgegebene Ziele und durchlaufen dafür einen iterativen Zyklus aus Beobachten, Planen, Handeln und Anpassen. Auf diese Weise können sie auch komplexe Prozesse eigenständig steuern. „Autonome KI kann operative Aufgaben wie Terminplanung, Vorfallbearbeitungen oder Prozessoptimierungen ausführen, ohne dass kontinuierliches Mikromanagement erforderlich ist“, erklärt Waldmann. Das steigere nicht nur die Produktivität, sondern auch die Skalierbarkeit und soll Unternehmen langfristig entlasten. Besonders Unternehmen mit knappen Budgets oder Fachkräftemangel könnten von solchen Lösungen profitieren.

Wenn Sicherheitsmechanismen Prozesse blockieren

Unternehmen sind durch zahlreiche Sicherheitsmechanismen geschützt – doch viele davon sind so ausgelegt, dass sie nicht-menschliche Interaktionen grundsätzlich blockieren. Für KI-Agenten bedeutet das: Ihre Prozesse werden gestört, es sei denn, sie sind gezielt darauf trainiert. „Solche Unterbrechungen führen zu einer Reihe von Problemen", so Waldmann. Er zählt Folgen wie Kontext- und Gedächtnisverlust der Agenten, unvollständige Aufträge sowie Effizienzverluste durch eine „Abfolge von Stop-and-Start-Aufgaben“ auf. Auch die Skalierbarkeit sei gefährdet, wenn ein autonomer Prozess menschliche Eingriffe erfordert. Waldmann erklärt: „Wenn jede einzelne Agenteninstanz manuelle Schritte erfordert, steigen die Kosten für den Menschen im Kreislauf linear an.“

Beispiele für mögliche Sicherheitsmaßnahmen, die den Prozess von KI-Agenten beeinflussen:

  • Authentifizierungsanforderungen: Sollte eine neue Anmeldung oder eine Multi-Faktor-Authentifizierung (MFA) notwendig sein, kann das der KI-Agent nur machen, wenn es explizit autorisiert wurde oder die KI hat sichere Anmeldedaten für sich erhalten.
  • Bot-Erkennung wie CAPTCHA: Bot-Erkennungen sollen Automatisierungen wie KI-Bots oder eben auch KI-Agenten blockieren, deswegen muss man diese Maßnahme umgehen oder das System auf eine Whitelist setzen.
  • Ratenbegrenzung und Drosselung (Rate Limiting and Throttling): Bei der Drosselung wird die Anfragenanzahl innerhalb eines bestimmten Zeitraums beschränkt. Agenten, die viele APIs oder Websites aufrufen, können in diesem Fall vorübergehend blockiert oder gedrosselt werden.
  • Zugriffsteuerung und -kontrollen (RBCA): Ein KI-Agent braucht gültige Anmeldeinformationen und explizite Autorisierung für manche Daten oder Funktionen. Ist das nicht gegeben, dann können bestimmte Workflows unterbrochen werden.
  • Aktualisierungs-Token (Refresh token): Eine aktive Aufgabe kann unterbrochen werden, sollte eine Sitzung nach einer festgelegten Zeit oder nach Inaktivität ablaufen. Eventuell kann ein Agent sich nicht neu authentifizieren oder kein neues Token einreichen.
  • Content Security Policies (CSP) und Cross-Origin Ressource Sharing (CORS): CSP und CORS legt fest, bei welchen Websites und Apps ein Agent Inhalte abgreifen darf. Ist eine Cross-Origin-Anfrage des KI-Agenten nicht freigegeben, wird diese blockiert und der Prozess unterbricht.
  • Protokollierung und Anomalie-Erkennung: Systeme zur Protokollierung und zur Analyse unterbinden ungewöhnliche Verhaltensmuster, die auf Automatisierungen hinweisen könnten. So können auch gut gemeinte Agenten Warnungen auslösen, was zum Sperren oder Stoppen der Agenten führen kann.
  • Datenkontrolle: KI-Agenten erhalten meist strenge Regeln für Datenbewegungen vor allem bei Funktionen wie exportieren, kopieren oder freigeben. Wird das verhindert, können Agenten Daten verlieren oder falsch zwischen den Systemen übertragen.

Gut zu wissen

Unterscheidung KI und KI-Agenten

Eigenschaft KI KI-Agenten
Funktionalität Einmalige Ausführung als Reaktion auf einen Prompt; erzeugt eine Ausgabe pro Anfrage. Mehrstufige, kontextbezogene Abläufe: planen, Aktionen ausführen, Rückmeldung verarbeiten.
Gedächtnis LMM mit begrenztem Kontextfenster; selten mit Langzeitgedächtnis ohne zusätzliche Infrastruktur. Speichert vergangene Interaktionen; nutzt vergangene Interaktionen für Langzeitkontext.
Entscheidungsfindung Basierend auf vortrainierten Verhaltensmustern und Wahrscheinlichkeiten. Adaptive Anpassung in Echtzeit; handelt zielorientiert und kann Strategien verändern.
Konnektivität Begrenzte interne Tools; normalerweise kein direkter Zugriff auf externe Datenquellen. Direkte Anbindung an APIs, Datenbanken und Tools; kann externe Ressourcen nutzen.

Während KI oft spezifische Aufgaben basierend auf vortrainierten Mustern ausführt und sich durch maschinelles Lernen optimiert, agieren KI-Agenten autonom und lernen aus ihrer Umgebung. Ein praktisches Beispiel sind KI-Agenten im autonomen Fahren, die aktiv auf Veränderungen reagieren. Diese Fähigkeiten erlauben es KI-Agenten, sich dynamisch in vielfältige Kontexte zu integrieren und kontinuierlich zu verbessern.

Kontrolle, Beobachtbarkeit und Sicherheit im Einklang

Damit KI-Agenten sich effizient einsetzen lassen, müssen Unternehmen also klar festlegen, welche Aufgaben und Befugnisse sie bekommen. Laut Waldmann lassen sich dafür agentenspezifische Schnittstellen – etwa über das Model Context Protocol (MCP) – schaffen, die Aufgaben und Grenzen eindeutig definieren. Gleichzeitig müsse der Prozess durchgängig überwacht werden. Mechanismen wie Laufzeitschutz (Runtime Safety Mechanisms) und Human-in-the-Loop-Eskalationen sollen sicherstellen, dass der Mensch jederzeit eingreifen kann – ohne den Ablauf zu verlangsamen.

Systeme benötigen sichere Wege zur Delegation von Vertrauen und Kontrolle, damit Agenten unabhängig in begrenzten, beobachtbaren Umgebungen agieren können.

Alexander Waldmann, Vice President, Applause

Strenge Tests – wie adversariale Szenarien oder Red Teaming – tragen dazu bei, Risiken realistisch einzuschätzen und Schwachstellen frühzeitig zu erkennen. „Der geschäftliche Nutzen von agentischen Workflows entsteht nicht, indem man Risiken ignoriert, sondern indem man klare Leitplanken setzt“, so der Experte. Konsequente Governance, technische Freiheit und organisatorische Verantwortung sind laut Waldmann entscheidend. Dabei lohnt es sich, Sicherheitsexperten sowie Endnutzer durchgehend in die Prüfung der Systeme einzubeziehen, nur so „können die Systeme kontinuierliche verbessert werden“, sagt Waldmann.

Neue Service-Bundles für MSP und Systemhäuser

Die sichere Integration von KI-Agenten ist für viele Unternehmen noch eine große Herausforderung. Für den Channel ergeben sich daraus allerdings auch neue Geschäftsmöglichkeiten. Systemhäuser und Managed Service Provider (MSP) können Referenzarchitekturen bereitstellen, Pilotenumgebungen orchestrieren und den regulären Betrieb begleiten. Beispielsweise könnten Service-Bundles, die Implementierung, Richtlinienverwaltung und Incident Response kombinieren, Unternehmen einen deutlichen Mehrwert bieten.

Waldmann warnt allerdings davor, allein auf solche Lösungen zu setzen: „Eigene MCP-Schnittstellen sind für Unternehmen aber nach wie vor sinnvoll – ähnlich wie eigene APIs.“ Das soll mehr Kontrolle ermöglichen und Kompromisse beim System vermeiden.

(ID:50525312)

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung