Safer Internet Day 2026 Jugendliche & KI-Bots: Emotionale Unterstützung oder Gefahr?

Anbieter zum Thema

G DATA CyberDefense AG

KI-Bots sind aus dem digitalen Alltag junger Menschen nicht mehr wegzudenken. Sie informieren, beraten und werden manchmal sogar als emotionaler Support genutzt. Doch welche Risiken birgt die emotionale Nutzung von KI-Bots und wie sieht die rechtliche Lage aus?

Generative KI-Bots sind längst Teil unseres digitalen Alltags, sei es als Chatbots in den sozialen Medien oder als spezielle Companion-Apps wie „Character.AI“. Laut der aktuellen JIM-Studie nutzen 90 Prozent der 16- bis 19-jährigen Jugendlichen ChatGPT. Die Nutzung von Chatbots geht jedoch häufig über die reine Informationsrecherche hinaus. KI-Systeme übernehmen zunehmend Rollen, die traditionell Menschen vorbehalten waren, wie die von Freunden, Pädagogen, Partnern oder Therapeuten. Dabei können „parasoziale Beziehungen“ entstehen. Diese definieren sich als einseitige Bindungen zu digitalen Systemen, die eine Illusion von Nähe und Vertrautheit vermitteln. Doch welche Risiken entstehen, wenn Menschen Bindungen zu KI-Begleitern entwickeln? Und wie reagiert das deutsche Recht auf dieses neue Phänomen?

Safer Internet Day 2026: Emotionale Bindungen zu KI-Systemen im Fokus

Der Safer Internet Day 2026, der am 10. Februar stattfindet, macht mit der Klicksafe-Initiative „KI and me. In künstlicher Beziehung” auf ein Phänomen aufmerksam, das besonders junge Menschen betrifft. Kira Peek, Rechtsanwältin und Senior-Referentin bei der Beschwerdestelle für Jugendmedienschutz beim Eco-Verband der Internetwirtschaft, informiert über die aktuellen rechtlichen Rahmenbedingungen und Schutzmechanismen, um die Risiken der emotionalen Nutzung von KI-Bots durch Minderjährige zu minimieren.

Wenn der KI-Bot zum Trostspender wird

Ein großer Vorteil von KI-Begleitern ist ihre einfache Zugänglichkeit: Minderjährige können KI-Bots jederzeit und überall nutzen. Die Entwicklung emotionaler Bindungen zu diesen Programmen birgt jedoch auch Risiken. „Virtuelle Freunde und Partner sind stets verfügbar, geduldig und können täuschend echt Nähe und Verständnis simulieren. Problematisch wird es, wenn sich junge Menschen emotional abhängig machen, falsche Gesundheitsratschläge befolgen, intime Daten mit KI-Diensten teilen oder durch Deepfakes und manipulative Inhalte in die Irre geführt werden“, erklärt Deborah Woldemichael, Leiterin der EU-Initiative Klicksafe.

Technologie, die ausgenutzt wird

Diese Gefahren bergen Deepfakes für Unternehmen

Rechtliche Grauzone: Parasoziale Abhängigkeiten von KI-Systemen

Aus rechtlicher Perspektive betrachtet, ist die emotionale Nutzung von KI-Bots sowie deren Risiken immer noch eine rechtliche Grauzone. Entsprechend macht Rechtsanwältin Peek klar: „Einen eigenständigen KI-Jugendschutz gibt es nicht. Der Schutz ergibt sich aus einem Zusammenspiel bestehender Regelwerke: dem JMStV für altersgerechte Nutzungskonzepte und die Entfernung jugendgefährdender Inhalte, dem DSA für allgemeine Pflichten der Anbieter digitaler Dienste in Bezug auf den Umgang mit illegalen Inhalten inklusive Plattformpflichten wie Risikoanalysen und Schutzmaßnahmen für Minderjährige, die DSGVO für den Umgang mit personenbezogenen Daten – insbesondere mit Blick auf Elterneinwilligung und Datensparsamkeit – sowie je nach angebotener Anwendung den AI Act.“ Ergänzend würden viele Anbieter laut Peek auch auf freiwillige Schutzmaßnahmen, wie Alterschecks, Moderation oder Warnhinweise setzen. Peek macht jedoch auch deutlich, dass keine gibt Haftung, wenn Jugendlichen durch KI-Bots schädliche Ratschläge gegeben werden

Konkret bedeute dies: „Anbieter von KI-Systemen sind nach DSA und AI Act verpflichtet, Risiken zu analysieren, Schutzmechanismen umzusetzen und transparent zu informieren. Das heißt: Sie müssen mögliche negative Effekte – etwa starke emotionale Bindungen – frühzeitig erkennen, berücksichtigen und den Umgang mit ihrem System verständlich machen.“ Die begleitende Verantwortung von Eltern, Erziehungsberechtigten und pädagogischen Fachkräften sei jedoch dennoch entscheidend.

Datenschutz bei LLMs

ChatGPT, Gemini und Co. unter der Lupe: Welche KI schnüffelt am meisten?

Datenschutz und Privatsphäre: Wie sicher sind geteilte Informationen?

Zudem gibt es auch datenschutzrechtliche Überlegungen, die nicht außer Acht gelassen werden dürfen: Wie wird die Privatsphäre der Nutzer geschützt, und wie werden die gesammelten Daten genutzt? Rechtsanwältin Peek schildert die Rechtslage in Deutschland zum Datenschutz von Minderjährigen bei KI-Chatbots wie folgt: „Hier greift die DSGVO: Besonders sensible Daten von Minderjährigen unterliegen erhöhten Schutzanforderungen. Für Kinder unter 16 Jahren ist grundsätzlich die Einwilligung der Eltern erforderlich. Außerdem müssen Daten zweckgebunden, sparsam und sicher verarbeitet werden. Ergänzend gelten weiterhin straf- und zivilrechtliche Regelungen, etwa wenn Inhalte rechtswidrig verbreitet werden oder Schaden entsteht.“ Des Weiteren macht die Rechtsanwältin darauf aufmerksam, dass „KI-Anbieter grundsätzlich für Kinder unter 16 Jahren keine emotionalen oder psychologischen Profile ohne die Einwilligung der Eltern erstellen dürfen. Diese Regelung falle unter die besonderen Schutzregeln der DSGVO für personenbezogene und sensible Daten.

Aufklärung als Schlüssel zur Risikominderung

Abschließend macht Peek noch einmal deutlich, dass „KI rechtlich zunächst als Werkzeug“ gelte. „Strafbar ist nicht das Werkzeug selbst, sondern sein Missbrauch. Erst wenn ein System gezielt auf Rechtsverletzungen ausgelegt ist oder Schutzpflichten bewusst ignoriert werden, kann Verantwortung für Hersteller oder Plattformen entstehen“, so Peek. Ihrer Meinung nach bleibt der Aspekt der „Aufklärung entscheidend, um Kinder, Jugendliche und Erwachsene zu befähigen, Risiken zu erkennen und KI bewusst und sicher zu nutzen.“ In diesem Kontext stellt die Initiative „KI and me“ von Klicksafe zweifellos einen Schritt in die richtige Richtung dar.

Europäischer Datenschutztag

Warum man Datenschutz neu denken sollte

(ID:50701871)