Mobile-Menu

Prompt Injection und mehr 7 Wege, wie Angreifer ChatGPT manipulieren können

Quelle: Pressemitteilung 4 min Lesedauer

Anbieter zum Thema

Tenable Network Security
WatchGuard Technologies GmbH
Zadara Ltd.
mibeca GmbH – Mike Bergmann Akademie

Tenable entdeckte sieben Schwachstellen in ChatGPT. Über Prompt-Injection-Tricks können Angreifer Daten, Chats und Speicherinhalte auslesen. Einige der Schwachstellen wurden behoben, andere bestehen selbst in ChatGPT-5 fort und erfordern strengere Schutzmaßnahmen.

Enthalten KI-Modelle Sicherheitslücken, können sie durch Prompt-Injection-Angriffe dazu gebracht werden, versteckte Befehle auszuführen, Sicherheitsmechanismen zu umgehen und dabei unbemerkt persönliche Daten, gespeicherte Chats und andere sensible Informationen preiszugeben.(© Thaut Images - stock.adobe.com)
Enthalten KI-Modelle Sicherheitslücken, können sie durch Prompt-Injection-Angriffe dazu gebracht werden, versteckte Befehle auszuführen, Sicherheitsmechanismen zu umgehen und dabei unbemerkt persönliche Daten, gespeicherte Chats und andere sensible Informationen preiszugeben.
(© Thaut Images - stock.adobe.com)

Der Sicherheitsspezialist Tenable hat OpenAIs KI ChatGPT genauer unter die Lupe genommen. Dabei hätten die Sicherheitsforschenden sieben kritische Sicherheitslücken identifiziert, die sowohl in ChatGPT-4o wie auch ChatGPT-5 nachgewiesen worden seien. Diese Schwachstellen, die unter dem Namen „HackedGPT“ zusammengefasst wurden, würden Benutzer Datenschutzrisiken aussetzen, indem sie integrierte Sicherheitsmechanismen um­gehen. Nutzen Cyberkrimienlle die Sicherheitslücken erfolgreich aus, seien sie in der Lage, unbemerkt persönliche Daten sowie gespeicherte Chats und Erinnerungen zu stehlen.

Diese Art des Datendiebstahls bezeichnen die Experten als „Indirect Prompt Injection“. Dabei würden versteckte Anweisungen in externen Websites oder Kommentaren das KI-Modell dazu veranlassen, unbefugte Aktionen auszuführen. Betroffen seien die Web-Browsing- und Spei­cher­funktionen von ChatGPT, die Live-Internetdaten verarbeiten und Benutzerinformationen speichern und somit Möglichkeiten für Manipulationen und Datenlecks eröffnen würden.

1. Sicherheitslücke: Indirect Prompt Injection über vertrauenswürdige Websites

Bei der ersten von Tenable entdeckten Schwachstelle würden Angreifer Befehle in legitim erscheinenden Online-Inhalten wie Blog-Kommentaren oder öffentlichen Posts verstecken. Beim Durchsuchen dieser Inhalte befolge ChatGPT unwissentlich diese versteckten An­wei­sungen. ChatGPT könne so dazu gebracht werden, die An­wei­sungen eines Angreifers aus­zuführen, indem es eine kompromittierte Seite liest.

2. Sicherheitslücke: Indirect Prompt Injection ohne Klick im Suchkontext

Bei der zweiten Schwachstelle müssen Nutzer Tenable zufolge weder klicken noch irgendetwas Besonderes tun, um kompromittiert zu werden. Denn wenn ChatGPT im Internet nach Ant­wor­ten sucht, kann es auf eine Seite mit verstecktem Schadcode stoßen. Einfach nur eine Frage zu stellen, könnte dazu führen, dass das Modell solche Anweisungen befolgt und private Daten preisgibt, was die Forscher als „Single-Prompt-Kompromittierung” bezeichnen.

3. Sicherheitslücke: 1-Click Prompt Injection

Schon ein einziger Klick kann einen Cyberangriff auslösen. Versteckte Befehle, die in scheinbar harmlosen Links eingebettet sind, wie beispielsweise „https://chatgpt.com/?q={Prompt}“, können den Experten zufolge dazu führen, dass ChatGPT bösartige Aktionen ausführt, ohne sich dessen bewusst zu sein. Ein Klick genüge, damit ein Angreifer die Kontrolle über einen privaten Chat übernehmen könne.

4. Sicherheitslücke: Umgehung von Sicherheitsmechanismen

Normalerweise überprüft ChatGPT Links und blockiert unsichere Websites. Angreifer können laut Tenable dies umgehen, indem sie vertrauenswürdige Wrapper-URLs verwenden, wie bei­spielsweise „bing.com/ck/a?...“ von Bing, die das tatsächliche Ziel verbergen. Da ChatGPT diesem Wrapper vertraue, zeigt es den scheinbar sicheren Link an und könne dann zu einer bösartigen Website weitergeleitet werden.

5. Sicherheitslücke: Conversation Injection

ChatGPT nutzt zwei Systeme: SearchGPT für die Suche und ChatGPT für Konversationen. Wie die Sicherheitsforscher berichten, könnten sich Angreifer SearchGPT zunutze machen, um ver­steck­te Anweisungen einzufügen, die ChatGPT später im Rahmen der Konversation auslese. Tat­sächlich führe die KI so letztendlich eine „Prompt Injection“ bei sich selbst durch, indem sie Befehle ausführe, die der Benutzer nie geschrieben hat.

6. Sicherheitslücke: Verbergen bösartiger Inhalte

Ein Programmierfehler in der Formatierung ermögliche es Angreifern, schädliche An­wei­sun­gen in Code oder Markdown-Text von ChatGPT zu verstecken. Dem Nutzer werde so laut Tenable eine „saubere“ Nachricht angezeigt, aber ChatGPT lese dennoch den versteckten Inhalt und führe ihn aus.

7. Sicherheitslücke: Persistent Memory Injection

Die Speicherfunktion von ChatGPT zeichnet vergangene Interaktionen auf. Angreifer könnten böswillige Anweisungen in diesem Langzeitspeicher hinterlegen, wodurch das Modell diese Befehle über mehrere Sitzungen hinweg wiederholt ausführe und kontinuierlich private Daten preisgebe, bis der Speicher geleert wird.

Sicherer Einsatz von ChatGPT

Tenable zufolge könnte eine erfolgreiche Ausnutzung einer dieser Schwachstellen dazu führen, dass

  • Cyberkriminelle versteckte Befehle in Konversationen oder Langzeitspeicher einfügen,
  • sensible Daten aus Chat-Verläufen oder verbundenen Diensten wie Google Drive oder Gmail abgreifen,
  • Informationen über Browser- und Web-Integrationen auslesen oder
  • Antworten manipulieren, um Fehlinformationen zu verbreiten oder Nutzer zu beeinflussen.

Das Team von Tenable Research habe seine Untersuchung nach den Grundsätzen einer ver­ant­wortungsvollen Offenlegung durchgeführt und den Hersteller darüber informiert. OpenAI habe daraufhin einige der identifizierten Schwachstellen behoben, aber einige seien weiterhin in Chat­GPT-5 aktiv oder wurden zum Zeitpunkt der Veröffentlichung noch nicht behoben, sodass bestimmte Kompromittierungspfade nach wie vor offen seien. Daher empfiehlt Tenable An­bie­tern von KI-Lösungen, ihre Abwehrmaßnahmen gegen Prompt Injection zu verstärken, indem sie sicherstellen, dass Sicherheitsmechanismen wie „url_safe“ wie vorgesehen funktionieren, und indem sie Browsing-, Such- und Speicherfunktionen isolieren, um kontextübergreifende Angriffe zu verhindern.

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weitere Empfehlungen sind:

  • Behandeln Sie KI-Tools als aktive Angriffsflächen und nicht als passive Assistenten.
  • Überprüfen und überwachen Sie KI-Integrationen auf mögliche Manipulationen oder Datenlecks.
  • Untersuchen Sie ungewöhnliche Anfragen oder Ausgaben, die auf Prompt Injection hindeuten könnten.
  • Testen und verstärken Sie die Abwehrmaßnahmen gegen Injektions- und Exfiltrationspfade.
  • Führen Sie Kontrollmechanismen für Governance und Datenklassifizierung im Zusammenhang mit KI-Nutzung ein.

(ID:50659785)

Weiterführende Inhalte

Jobs