Sicherheit für Generative KI Neue Security-Konzepte als Schutz für GenAI

Anbieter zum Thema

Cloudflare Germany GmbH

Bugcrowd

WatchGuard Technologies GmbH

Fsas Technologies GmbH

Zadara Ltd.

Viele Unternehmen verzichten noch auf den Einsatz von Künstlicher Intelligenz (KI), weil sie Probleme rund um die Themen Datenschutz und Sicherheit befürchten. Das könnte sich bald ändern, denn eine Reihe neuer Security-Lösungen bietet sich an, Generative KI besser zu schützen. Mit der neuen KI-Sicherheit kommt dann auch mehr Vertrauen in KI.

Nur etwa jedes achte Unternehmen (12 Prozent) in Deutschland nutzt Künstliche Intelligenz, so das Statistische Bundesamt (Destatis). Fast jedes zweite Unternehmen (48 Prozent) nennt Bedenken hinsichtlich der Wahrung des Datenschutzes und der Privatsphäre als Grund für den Verzicht.

Die Sicherheit und der Datenschutz sind allerdings auch elementar, wenn es um KI geht: Die Unternehmen, die KI einsetzen, verwenden diese Technologien vorrangig für die Buchführung, das Controlling oder die Finanzverwaltung (25 Prozent der Unternehmen), die IT-Sicherheit (24 Prozent), für Produktions- oder Dienstleistungsprozesse (22 Prozent) sowie zur Organisation von Unternehmensverwaltungsprozessen oder das Management (20 Prozent). KI wird also durchaus in geschäftskritischen Bereichen genutzt, wenn es sich ein Unternehmen denn traut.

Offensichtlich kann KI nur dann zu einem wirklichen Erfolg für die Wirtschaft werden, wenn mehr Verlass auf die Security und den Datenschutz bei KI-Nutzung ist. Dafür muss man allerdings etwas tun.

KI-Sicherheit bedarf weiterer Maßnahmen

Deutsche Unternehmen sind aufgrund von Datenschutzbedenken besonders vorsichtig bei Generativer Künstlicher Intelligenz (GenAI), wie auch die Data Privacy Benchmark Study 2024 von Cisco zeigt. So beschränken 76 Prozent die Dateneingabe, weltweit sind es 63 Prozent. In Deutschland regeln 69 Prozent der Unternehmen, welche GenAI-Tools Mitarbeiter nutzen dürfen (weltweit: 61 Prozent), und 35 Prozent haben ihren Einsatz sogar ganz verboten (weltweit: 27 Prozent).

Regeln zur KI-Nutzung sind wichtig, helfen alleine aber nicht: So halten sich bösartige Zugriffe zum Missbrauch der GenAI nicht an Regeln, die nicht technisch erzwungen werden. Deshalb ist die Security gefragt, um den Schutz von GenAI deutlich zu erhöhen.

Das Analystenhaus Gartner erklärte dazu: „Eine Anwendung mit Generativer KI lässt sich nicht in einem Vakuum absichern. Bevor Schutzmaßnahmen speziell für Generative KI entwickelt und eingesetzt werden, sollte man immer eine solide Grundlage in Form von Cloud-, Daten- und Anwendungssicherheit schaffen.“

Auf dem Markt gibt es aber auch bereits spezifische Security-Werkzeuge für den Schutz von GenAI.

Beispiel: Eine Firewall für GenAI

Cloudflare zum Beispiel stellte eine „Firewall for AI“ vor. Wenn jemand versucht, Large Language Models (LLM) zu manipulieren oder anzugreifen, soll dieser Sicherheitsservice das schon frühzeitig erkennen. „Auf neue Anwendungsarten folgen schnell neue Bedrohungen. Das ist bei KI-gestützten Applikationen nicht anders“, so Matthew Prince, Mitgründer und CEO von Cloudflare.

IT-Sicherheitsteams können laut Cloudflare mit Firewall for AI dafür sorgen, dass etwaige Schwachstellen von LLM-Anwendungen nicht gegen die zugrundeliegenden KI-Modelle verwendet werden können. Firewall for AI kann demnach vor jeder LLM eingesetzt werden, die auf Workers AI von Cloudflare betrieben wird. Die Prompts der Nutzer werden gescannt und bewertet. Auf diese Weise lassen sich Versuche, ein Modell auszunutzen und Daten auszuschleusen, besser erkennen.

Beispiel: Schwachstellen in GenAI aufspüren und beheben

Wesentlich für mehr Sicherheit bei GenAI ist es, die Schwachstellen, die von Angreifern ausgenutzt werden könnten, aufzudecken und abzuschirmen.

Enkrypt AI Sentry zum Beispiel versteht sich als Kontrollebene zwischen LLMs und Endbenutzern und bietet dafür Sicherheitsfunktionen. Die Lösung soll helfen, LLM-Angriffe wie Jailbreaks und Halluzinationen zu erkennen und abzuwehren und vertrauliche Datenlecks zu verhindern. Prashanth Harshangi, Mitbegründer und CTO von Enkrypt AI, kommentierte: „Unsere Plattform kann mehr als nur Schwachstellen erkennen, sie stattet Entwickler mit einem umfassenden Toolkit aus, mit dem sie ihre KI-Lösungen sowohl gegen aktuelle als auch zukünftige Bedrohungen schützen können.“

Bugcrowd beispielsweise hat Aktualisierungen der Vulnerability Rating Taxonomy (VRT) angekündigt, die zum ersten Mal KI-bezogene Schwachstellen in großen Sprachmodellen (LLMs) definieren und priorisieren. Die VRT ist ein fortlaufendes Open-Source-Projekt zur Standardisierung der Art und Weise, wie von Hackern eingereichte Schwachstellen in einem Industriestandard gemeldet werden, und ist in der Bugcrowd-Plattform für die Nutzung durch Hacker, Kunden und die Anwendungssicherheitsingenieure von Bugcrowd implementiert.

Diese neue VRT-Version soll Kunden und Hackern ein gemeinsames Verständnis darüber vermitteln, wie LLM-bezogene Schwachstellen klassifiziert und priorisiert werden. Mit diesen Informationen können sich Hacker auf die Suche nach spezifischen Schwachstellen machen und sich auf die Erstellung gezielter Proof-of-Concept-Konzepte konzentrieren. „Obwohl KI-Systeme bekannte Schwachstellen aufweisen können, die in gewöhnlichen Webanwendungen zu finden sind, haben KI-Technologien wie LLMs noch nie dagewesene Sicherheitsherausforderungen verursacht, die unsere Branche gerade erst zu verstehen und zu dokumentieren beginnt", so Casey Ellis, Gründer und Chief Strategy Officer von Bugcrowd.

Beispiel: Sichere Workflows für Machine-Learning-Operations (MLOps)

Jfrog zum Beispiel hat eine neue Technologieintegration mit Qwak angekündigt, einer vollständig verwalteten ML-Plattform. Die Integration verbindet Machine-Learning-Modelle mit traditionellen Softwareentwicklungsprozessen, um die sichere Bereitstellung von ML-Anwendungen zu unterstützen.

„Derzeit verwenden Datenwissenschaftler und ML-Ingenieure eine Vielzahl unterschiedlicher Tools, die meist nicht mit den Standard-DevOps-Prozessen im Unternehmen verbunden sind, um Modelle bis zur Freigabe zu entwickeln. Dies verlangsamt die MLOps-Prozesse, gefährdet die Sicherheit und erhöht die Kosten für die Erstellung von KI-gestützten Anwendungen", sagte Gal Marder, Executive Vice President of Strategy bei Jfrog.

Warum sichere, durchgängige MLOps-Prozesse so wichtig sind, verdeutlicht die Entdeckung von bösartigen ML-Modellen in Hugging Face durch das Security Research Team von JFrog. Die Untersuchung ergab, dass mehrere kompromittierte ML-Modelle in Hugging Face, einem weit verbreiteten KI-Modell-Repository, Bedrohungsakteuren die Codeausführung ermöglicht, was zu Datendiebstahl, der System-Kompromittierung oder anderen Sicherheitsverletzungen führen kann.

Es zeigt sich: Der Markt mit spezifischen Werkzeugen zur Absicherung von GenAI füllt sich, eine gute Entwicklung, die das Vertrauen in und damit den Erfolg mit KI steigern kann.

(ID:50059516)