Mobile-Menu

Zunehmender Missbrauch von Sprachmodellen KI-Modelle als Waffe der Cyberkriminellen

Quelle: Pressemitteilung 2 min Lesedauer

Anbieter zum Thema

Cisco Systems GmbH (Switzerland)
G DATA CyberDefense AG
sysob IT-Distribution GmbH & Co. KG
WatchGuard Technologies GmbH

Cyberkriminelle nutzen unzensierte oder manipulierte KI-Modelle für Phishing, Malware und mehr. Cisco Talos warnt: Selbst legitime KI-Tools werden gezielt ausgetrickst und für Angriffe zweckentfremdet.

Cyberkriminelle missbrauchen echte LLM-Tools, unzensierte Sprachmodelle und entwickeln sogar eigene KI-Modelle, um Cyberangriffe zu verbessern.(Bild: Benjamin - stock.adobe.com / KI-generiert)
Cyberkriminelle missbrauchen echte LLM-Tools, unzensierte Sprachmodelle und entwickeln sogar eigene KI-Modelle, um Cyberangriffe zu verbessern.
(Bild: Benjamin - stock.adobe.com / KI-generiert)

Talos, Ciscos Forschungsabteilung warnt vor einem gefährlichen Trend: Cyberkriminelle nutzen KI-Technologien wie Large Language Models (LLMs), um Angriffe auf Unternehmens­netzwerke zu automatisieren und zu verbessern. Dafür würden sie nicht nur öffentlich ver­fügbare KI-Dienste einsetzen, sondern auch eigene Modelle und manipulierte Versionen entwickeln. So würden sie noch überzeugendere Phishing-Kampagnen erstellen und Security-Tools entwickeln.

Unzensierte LLMs sind Tools für Cyberangriffe

Huggingface, einer Plattform für LLMs zufolge, gibt es derzeit über 1,8 Millionen verschiedene Sprachmodelle. Die meisten davon enthalten Sicherheitsvorkehrungen, sogenannte Guardrails, sowie Beschränkungen, um ihren Missbrauch zu verhindern. Talos hat jedoch eine Menge un­zensierter Sprachmodelle entdeckt. Sie helfen Cyberkriminellen dabei, realistische Phishing-Nachrichten und betrügerische Mitteilungen zu erstellen, die oft keine grammatischen Fehler oder verdächtige Formulierungen enthalten. Beispiele für solche Modelle sind „Ollama“ mit „Llama2 uncensored“ und „WhiteRabbitNeo“.

Außerdem haben die Untersuchungen von Talos ergeben, dass Cyberkriminelle sogar eigene LLMs entwickeln, die sie im Darkweb anbieten. Diese können schädliche Software erstellen, inklusive Ransomware, Trojaner für den Fernzugriff, Wiper, Shellcode und verschiedene Skrip­te. Darüber hinaus können die bösartigen Sprachmodelle Phishing-Mails erstellen, Land­ing Pages und Konfigurationsdateien manipulieren, gestohlene Kreditkartendaten prüfen, Web­sites und Code auf Schwachstellen scannen und sogar neue kriminelle Strategien entwickeln. Beispiele für diese Anwendungen sind „GhostGPT“, „WormGPT“, „DarkGPT“, „DarkestGPT“ und „FraudGPT“.

Missbrauch legitimer Sprachmodelle

Nicht nur unzensierte LLMs werden von Cyberkriminellen missbraucht. Können die Angreifer die Sicherheitsmaßnahmen legitimer LLMs umgehen, nutzen sie auch diese für ihre Zwecke. Um Trainingsrichtlinien und Funktionen, die Antworten auf unethische, illegale oder schäd­liche Anfragen verhindern, zu überwinden, verwenden Cyberkriminelle Techniken wie Prompt Injection, so dass die Modelle schädliche Ergebnisse erzeugen können.

„Wir müssen den Missbrauch von großen Sprachmodellen in alle Richtungen betrachten“, sagt Thorsten Rosendahl, Technical Leader von Cisco Talos. „Dazu gehört die Überwachung des KI-bezogenen Datenverkehrs, die Erkennung verdächtiger Eingaben, um Datenabfluss oder sogenannte Jailbreaks zu verhindern, aber auch die Schulung von Mitarbeitenden, damit sie zum Beispiel KI-generierte Phishing-Mails erkennen. Außerdem empfehlen wir dringend, ausschließlich mit vertrauenswürdigen Modellen und gut gesicherten Plattformen zu arbeiten.“

(ID:50513111)

Wissen, was läuft

Täglich die wichtigsten Infos aus dem ITK-Markt

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte

Jobs