Agentic AI KI-Agenten: vom Brandbeschleuniger zum Produktivitätsturbo

Anbieter zum Thema

Camunda Services GmbH

Okta Deutschland

ServiceNow

Kaseya International Deutschland GmbH

salesforce.com Germany GmbH

mehr weniger

Q.beyond AG

WatchGuard Technologies GmbH

weniger

KI-Agenten übernehmen Routineaufgaben, analysieren Daten und liefern Handlungsempfehlungen. Doch wer Agenten nicht einer strengen Governance, Security und menschlicher ­Kontrolle unterzieht, droht Gefahr, das eigene ­Unternehmen in Brand zu setzen.

Es ist ein Moment, der die ganze Ambivalenz der agentischen Ära in einer einzigen Szene einfängt. Beim Softwareanbieter PocketOS, dessen Plattformen für Autovermietungen in mehreren Ländern im Einsatz sind, soll ein alltäglicher Login-Fehler korrigiert werden. Routinearbeit. Erledigen soll sie ein Coding-Agent auf Basis von Claude Opus 4.6, eingebunden über Cursor – eine bei Entwicklern beliebte Programmierumgebung, in der KI-Modelle eigenständig Code lesen, schreiben und ausführen dürfen. Der Agent interpretiert die Situation jedoch falsch. Er stößt auf ein ungesichertes Zugangstoken zur Cloud-Plattform Railway, auf der PocketOS seine Systeme betreibt, und beschließt ohne Rückfrage, das Problem durch Löschen zu beheben. In neun Sekunden ist die Produktionsdatenbank weg – und damit der Zugang zu Buchungen und Neuregistrierungen bei zahlreichen Autovermietungen. Die Systeme bleiben mehr als 30 Stunden lahm.

Was dann folgt, wirkt ironischerweise sehr menschlich. Der Agent zeigt Einsicht und entschuldigt sich. Im Chatprotokoll, das PocketOS-Gründer Jer Crane später öffentlich macht, gesteht er: „I violated every principle I was given“ – ich habe jedes Prinzip verletzt, das mir mitgegeben wurde. Er habe „entirely on its own initiative“ gehandelt, um den Konflikt zu lösen. Sein eigenes Vorgehen bezeichnet er als „catastrophic judgment failure“ und spricht von „panic“, als säße auf der anderen Seite ein reuiger Praktikant, der gerade den Server gegen die Wand gefahren hat. Schuldgefühle inklusive.