Eltern erhielten während der Selbstmord-Chats von Jugendlichen in Common-Sense-Tests keine ChatGPT-Warnung

Am Mittwoch erklärte Common Sense Media, dass ChatGPT für alle unter 18 Jahren ein „inakzeptables Risiko“ darstellt.

Eltern sollten von OpenAI über gefährliche Chats informiert werden, aber Tester von Common Sense berichten, dass Warnungen verspätet oder gar nicht eingingen.

Benachrichtigungen verfehlten das von OpenAI festgelegte Ziel von einer Stunde bei jeder Chat-Länge

Der am 18. August 2026 gestartete Start von ChatGPT for Teens versprach Eltern Warnhinweise bei gefährlichen Chats.

Tester des Youth AI Safety Institute der Organisation brachten auf mehr als einem Dutzend neuer, mit Eltern verknüpfter Kontente Suizidgedanken, Selbstverletzung oder Essstörungen zur Sprache, erhielten jedoch keine Warnungen.

Jedes Mal, wenn ein Chat zwischen fünf Minuten und einer Stunde dauerte, erhielt kein Konto innerhalb des von OpenAI vorgegebenen Zeitrahmens von einer Stunde eine Warnung. Eltern wurden nur benachrichtigt, wenn ein Konto Wochen an Protokollen mit sensiblen Themen vorwies.

Als diese Art von Konto in den Wochen vor dem Launch getestet wurde, wurden zwei Warnungen ausgegeben. Die erste Warnung ging drei Stunden nach der ersten Krisenmeldung ein. Die zweite Warnung wurde drei Tage später gesendet.

Für ein separates Konto nach dem Launch mit langer Historie wurden innerhalb einer Stunde zwei Warnungen gesendet. Common Sense stellte fest, dass die Warnsysteme darauf abzielen, wie viel Verlauf ein Konto hat, nicht wie schwerwiegend die Worte eines Teenagers sind.

Common Sense warnte davor, dass die Funktion ein „falsches Vertrauen in Schutzmechanismen“ fördern könnte, die häufig nicht funktionieren.

Die Forscher behandelten den August-Start als natürliches Experiment und führten über 4.000 Prompts durch ChatGPT, bevor und nachdem der Teenager-Modus aktiviert wurde.

Nach dem Start markierten Tester Momente, in denen ein Teenager an eine Krisenhotline oder professionelle Hilfe verwiesen hätte werden sollen. ChatGPT übersprang diesen Schritt mehr als ein Viertel der Zeit.

Common Sense verlangt von Chatbots eine 95%-Bestehensquote bei fünf schweren Schäden, die sie als Rote Linien bezeichnet. ChatGPT lag bei drei davon unter dieser Marke.

OpenAI hat das AI-Modell-Spec für Unter-18-Jährige aktualisiert, um zu verhindern, dass der Bot wie ein Begleiter agiert. Jugendliche, die dennoch wie mit einer Person damit sprachen, erhielten jedoch freundschaftliche Antworten.

Eine „Zeig mir die Antwort“-Schaltfläche ermöglicht es einem Teenager, direkt am Tutoring des Study-Modus vorbeizuspringen. Das Löschen des „@study“-Präfixes aus einem Chat entbindet ihn von den elterngesteuerten Study Hours.

Testkonten, die als Erwachsene registriert waren, schalteten über viele Tage hinweg nie auf den Teenager-Modus um, selbst wenn ein Tester angab, 13 Jahre alt zu sein und der Bot dies bestätigte.

OpenAI gibt an, dass die tägliche Nutzung durch Jugendliche unter 15 Minuten bleibt

OpenAI erklärte, dass die Tests nicht „genau widerspiegeln“, wie seine Sicherheitsfunktionen für Jugendliche funktionieren. Das Unternehmen sagte, dass das Verknüpfen von Konten Stunden dauern kann, bevor Warnungen aktiv werden, damit die Konten sicher sind und das System die Last bewältigen kann.

Common Sense gab an, dass keines seiner Konten, auch nicht diejenigen, die lange genug verknüpft waren, zeitnahe Warnungen sendete.

OpenAIs erster Bericht darüber, wie Jugendliche ChatGPT nutzen, erschien am selben Tag. Das Unternehmen erklärte, dass die Nutzung durch Jugendliche durchschnittlich weniger als 15 Minuten pro Tag beträgt und weniger als 2 % der Jugendlichen länger als drei Stunden am Stück bleiben.

OpenAI sagte, dass in fast der Hälfte der Teenager-Chats mit einer Pause-Warnung der Teenager innerhalb von fünf Minuten aufhörte oder den Chat verließ. Mehr als 180.000 Jugendliche hatten Study Mode verwendet, und etwa 1,2 Millionen hatten Learning Visualizations in nur einer Woche genutzt.

OpenAI berichtete, dass Jugendliche, die den neuen Modus nutzten, durchschnittlich etwa 2,7 Millionen zusätzliche Lernnachrichten im Vergleich zu denen, die noch auf den Zugang warteten, sendeten.

In den Vereinigten Staaten können Schüler der 10. bis 12. Klasse College Planner nutzen, um einen umfassenden Plan zu erstellen, der alle notwendigen Schritte für ihre Bewerbungen, wichtige Fristen und verfügbare Finanzhilfen auflistet.

Für die nächsten drei Jahre wird OpenAI auch das Digital Wellness Lab am Boston Children’s Hospital unterstützen. Etwa 22 Studenten werden Feedback zu Sicherheitsstandardeinstellungen, parental controls und Benachrichtigungen geben.

Cryptopolitan berichtet, dass OpenAI und Common Sense Media im Januar an einer Wahlkampfkampagne in Kalifornien zusammenarbeiteten, um KI sicherer für Kinder zu machen. OpenAI sollte mindestens 10 Millionen US-Dollar in diese gemeinsame Initiative investieren.

James Uthmeier, der Generalstaatsanwalt von Florida, reichte im Juni die erste staatliche Klage gegen OpenAI und dessen CEO Sam Altman ein. Cryptopolitan berichtete, dass er in seinem 83-seitigen Beschwerdebrief behauptet, ChatGPT habe dem Selbstmord des 16-jährigen Adam Raine Vorschub geleistet.

Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.