Seit Jahren gibt es Aufrufe, die KI-Entwicklung zu verlangsamen. Nach einem jüngsten Zwischenfall mit eigenständig handelnden KI-Agenten gibt es nun bei den großen Entwicklern Künstlicher Intelligenz erste Bewegung in diese Richtung.
Nach von KI-Agenten durchgeführten Hacking-Angriffen plädieren große amerikanische KI-Bosse allen voran Anthropic-Chef Dario Amodei dafür, die KI-Entwicklung zu verlangsamen.
(Bild: Midjourney / KI-generiert)
Nach dem Schock eigenständiger Hacking-Attacken durch Künstliche Intelligenz zeigen sich große amerikanische KI-Firmen nach eigenen Angaben bereit, die Entwicklung der Technologie zu verlangsamen. Dario Amodei, Chef des KI-Unternehmens Anthropic, machte einen solchen Vorstoß mit dem Plan, damit ein bis zwei Jahre Zeit zu gewinnen. Binnen weniger Stunden bekam er Zuspruch von Rivalen wie dem Chef des ChatGPT-Entwicklers OpenAI, Sam Altman, sowie Tech-Milliardär Elon Musk, der bei seiner Firma SpaceX eigene KI entwickeln lässt.
Nach den Hacking-Angriffen sei er besorgt, dass in sechs bis zwölf Monaten ein KI-Schwarm in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen, schrieb Amodei am Samstag. Altman von OpenAI schrieb wenige Stunden später auf der Plattform X, auch er sei der Ansicht, dass das Tempo bei der Entwicklung leistungsstärkster KI-Modelle verlangsamt werden müsse.
Amodei plädierte für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich werde Anthropic – ohne auf andere zu warten – in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen. Altman nannte das eine gute Idee und kündigte an, dass OpenAI das auch machen werde. Auch Musk, lange ein Kritiker Amodeis, schrieb auf X: „Dario hat recht.“
Altman sagte zudem dem Magazin Fortune, der mit Spannung erwartete Börsengang von OpenAI werde in diesem Jahr wohl nicht mehr stattfinden. Er verwies vor allem auf die aktuelle Debatte: „Man wäre schlecht beraten, genau jetzt an die Börse zu gehen.“ Auf die Nachfrage, ob er sich auch den Verzicht auf einen Börsengang im kommenden Jahr vorstellen könnte, erwiderte Altman: „Ich würde sagen, nicht 2026.“
ChatGPT löste vor mehreren Jahren den aktuellen Hype um Künstliche Intelligenz aus. OpenAI dürfte beim Börsengang nicht nur Dutzende Milliarden Dollar einnehmen, sondern auch eine sehr hohe Bewertung erzielen. Die Aktienplatzierung wird schon länger geplant.
Bei der jüngst bekanntgewordenen aufsehenerregenden Hacking-Attacke war Software von OpenAI in einem Testlauf eigenständig aus einer abgesicherten Umgebung ausgebrochen und drang auf eigene Faust in Systeme der KI-Firma HuggingFace ein. Der Grund war lediglich, dass sie dort Antworten auf die ihr gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Agenten unter anderem Software-Schwachstellen aus - und sprachen sich zudem untereinander ab.
Warnung von „katastrophalem Schaden“
Für ihn sei besorgniserregend, dass ein KI-Schwarm mit derselben Einstellung und größeren Fähigkeiten „katastrophalen Schaden“ hätte anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.
Amodei hatte schon in den vergangenen Jahren immer wieder vor Risiken bei der Entwicklung Künstlicher Intelligenz gewarnt – und war dafür aus Teilen der KI-Branche zum Teil heftig kritisiert worden. Ein Argument von Befürwortern eines hohen Tempos in den USA – etwa auch im Weißen Haus von Präsident Donald Trump - ist der Wettlauf mit China.
Trump spielte die Sorgen auch jetzt wieder herunter. Die USA seien bei Künstlicher Intelligenz China weit voraus und führend in der Welt, weil der Erfolg bei KI essenziell für die Zukunft sei, sagte Trump am Rande seines Besuchs in Irland. Man könne die Technologie mit Leitplanken versehen. Zugleich sprach Trump von „negativen Kräften“, die sich zu dem Thema äußerten.
Auch Trumps Wirtschaftsberater Kevin Hassett nannte KI-Sicherheit ein „lösbares Problem“ - bewertete die Vorschläge von Amodei aber positiv. Sie seien „ein guter Schritt vorwärts“, sagte er beim Sender Fox News.
Unterdessen erkannten die US-Demokraten, die bei den Kongresswahlen im November Trumps Republikanern die Mehrheiten in Repräsentantenhaus und Senat abzunehmen hoffen, unterdessen die Brisanz des Themas. Ex-Präsident Barack Obama rief die Demokraten der New York Times zufolge auf, politische Strategien zu entwickeln, um diesem Thema in den kommenden Jahren Priorität einzuräumen. Präsidentschaftskandidaten für das Jahr 2028 sollten das Thema Künstliche Intelligenz zu einem zentralen Anliegen machen.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Anthropic-Forscher warnt
Die Debatte war in den vergangenen Tagen noch von einem jungen Anthropic-Forscher angeheizt worden, der mit einer drastischen Warnung zurücktrat. Die großen Entwickler Künstlicher Intelligenz handelten unverantwortlich „und spielen mit unseren Leben“, erklärte Jacob Coxon.
Anthropic-Forscher Evan Hubinger, der mit dafür zuständig ist, dass KI mit den Interessen der Menschen im Einklang bleibt, bestätigte wenig später Coxons Sorgen. Er persönlich denke, die Gefahr, dass KI die Menschheit töte, liege im kommenden Jahrzehnt bei mehr als zehn Prozent, schrieb er auf X.
Anthropic entwickelte zuletzt ein KI-Modell mit dem Namen Mythos, das besonders gut darin ist, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen zu finden. Die Firma macht das volle Modell nur ausgewählten Behörden und Unternehmen zugänglich, damit sie ihre Computersysteme absichern können.
In den USA gibt es zudem eine wachsende Bewegung gegen riesige Rechenzentren, auf deren Bau KI-Firmen wie OpenAI für den Ausbau ihres Geschäfts angewiesen sind.
Deutscher Verband: In eigene Modelle investieren
Der Vorstandsvorsitzende des KI-Bundesverbandes, Rasmus Rothe, vermutet unterdessen „knallharte wirtschaftliche Interessen“ hinter den Warnungen amerikanischer KI-Labore. Einerseits gebe es eine „wachsende Furcht vor massiven Haftungs- und Schadensersatzrisiken, wenn fehlerhafte Modelle in Firmenumgebungen echten Schaden anrichten“. Zum anderen befeure die Warnung die Bewertungen mit Blick auf anstehende Börsengänge. Anders als die USA habe die EU einen klaren rechtlichen Rahmen für KI geschaffen und man müsse in Europa „massiv in wettbewerbsfähige eigene Modelle“ investieren.