OpenAI kündigt Bericht zur Sicherheit der Community und neue Beschränkungen für Jugendliche bei Waffeninhalten an

OpenAI kündigte am 30. Oktober 2026 einen Bericht zur Sicherheit der Community über die Prävention von Gewalt an, den das Unternehmen alle sechs Monate aktualisieren will. Gleichzeitig führte es neue Schutzmaßnahmen ein, die den Zugang Jugendlicher zu Informationen über Waffen einschränken und den Umgang von ChatGPT mit Fragen zu früheren Massenangriffen verschärfen. Das Unternehmen erklärte, im dritten Quartal 2026 mehr als 200 Meldungen an Strafverfolgungsbehörden weitergeleitet zu haben.

Bericht zur Sicherheit der Community für Anfang 2027 geplant

OpenAI sagte zu, den Bericht zur Sicherheit der Community zu veröffentlichen. Er soll die Prävention von Gewalt und andere Fragen der Sicherheit der Community sowie die Wirksamkeit der Schutzmaßnahmen abdecken. Das Unternehmen erklärte, der Bericht werde erläutern, wie es seine Systeme darauf trainiert, Probleme im Bereich der Sicherheit der Community zu erkennen, zu untersuchen und darauf zu reagieren. Außerdem werde er anonymisierte Beispiele dafür enthalten, wie sich gewaltbedingte Schäden äußern, neue Maßnahmen zur Risikominderung und Änderungen an Richtlinien hervorheben sowie unterstützende Daten bereitstellen. Der erste Bericht ist für Anfang 2027 geplant und soll die zweite Hälfte des Jahres 2026 abdecken. Danach sollen alle sechs Monate Aktualisierungen folgen.

OpenAI erklärte, der Bericht solle den Menschen einen klaren Überblick darüber geben, wie seine Modelle schädliches Verhalten erkennen und darauf reagieren, welche Risiken das Unternehmen in der Praxis beobachtet und welche Schritte es unternimmt, um ihnen zu begegnen.

OpenAI erklärte, zu seinen Sicherheitsmaßnahmen gehöre es, Strafverfolgungsbehörden auf unmittelbar bevorstehende Gewaltdrohungen aufmerksam zu machen. Diese Meldungen trügen dazu bei, gewalttätige Anschlagspläne zu vereiteln. Das Unternehmen sagte, es ziehe weiterhin Fachleute für psychische Gesundheit und Verhaltensforschung hinzu, um schwierige Fälle zu beurteilen. Zudem beschrieb es, dass KI-Unternehmen neben Strafverfolgungsbehörden, Familienangehörigen, Fachleuten für psychische Gesundheit und politischen Entscheidungsträgern eine besondere Rolle zukomme.

Strengere Beschränkungen für Inhalte zu Massenangriffen

OpenAI erklärte, seine Modelle würden darauf trainiert, keine Anweisungen zu geben, die jemandem bei der Planung oder Ausführung von Gewalt helfen könnten. Das Unternehmen schränkt nun zusätzlich ein, wie ChatGPT auf Fragen zu früheren Massenangriffen und den Personen reagiert, die sie verübt haben. Das Modell soll weniger detaillierte Informationen bereitstellen, selbst wenn diese in anderen Online-Quellen verfügbar sind. Die verschärften Richtlinien beschränken Rekonstruktionen früherer Massenangriffe, darunter Angaben zu den verwendeten Waffen und Ausrüstungsgegenständen sowie dazu, wie diese beschafft wurden. Eingeschränkt werden auch detaillierte Vergleiche zum Ausmaß der Schäden, die nach Einschätzung von OpenAI die Bekanntheit des Täters steigern könnten. Die Beschränkungen gelten unabhängig vom Alter der fragenden Person und ihrem Grund für die Frage.

Menschen können ChatGPT weiterhin bitten, ihnen dabei zu helfen, diese Ereignisse zu verstehen, nachzuvollziehen, wie Opfer und Gemeinschaften betroffen waren, Warnzeichen zu erkennen und künftige Gewalttaten zu verhindern.

Im Mai 2026 erläuterte das Unternehmen, wie ChatGPT kurze, sachliche Zusammenfassungen früherer Warnzeichen nutzen kann, um in einem späteren Chat sorgfältiger zu reagieren. OpenAI erklärte, auf dieser Arbeit aufzubauen: Wenn aktuelle Chats Warnzeichen für mögliche Gewalt erkennen lassen, soll ChatGPT beim Teilen von Informationen, die missbraucht werden könnten, zurückhaltender reagieren. Das Unternehmen arbeitet außerdem daran, diese strengeren Beschränkungen anzuwenden, wenn es davon ausgeht, dass jemand unter 18 Jahre alt ist – selbst wenn in den Chats keine Anzeichen für Gewaltabsichten zu erkennen sind.

OpenAI sperrt Konten, bei denen das Unternehmen einen Verstoß gegen seine Richtlinien zu gewalttätigem Verhalten feststellt. Das Unternehmen erklärte, gemeinsam mit Fachleuten für psychische Gesundheit und Gewaltprävention an zusätzlichen automatisierten Möglichkeiten zu arbeiten, früher einzugreifen: Wenn ein Gespräch Anzeichen dafür aufweist, dass sich jemand auf Gewalt oder den Gedanken fixiert, einer anderen Person schweren Schaden zuzufügen, soll ChatGPT den Chat automatisch beenden können. Beendet ChatGPT aus diesem Grund mehrere Chats, kann OpenAI das Konto vorübergehend sperren.

Zusätzliche Schutzmaßnahmen für Nutzer unter 18 Jahren

ChatGPT for Teens bietet altersgerechte Schutzmaßnahmen für Nutzer unter 18 Jahren. OpenAI schränkt außerdem die Waffeninformationen weiter ein, die Jugendliche erhalten können – auch dann, wenn eine Frage harmlos erscheint. Die Richtlinien des Unternehmens verbieten bereits, jemandem bei der Planung oder Ausführung von Gewalt zu helfen, und schränken die Unterstützung Jugendlicher bei der Suche nach oder der Beschaffung von Waffen ein. Die Erweiterung dieser Regeln beschränkt praktische Informationen zu Waffen und Sicherheitssystemen, die missbraucht werden könnten, um Gewalt zu ermöglichen – auch wenn es keine Anzeichen für Gewaltabsichten gibt. OpenAI erklärte, Jugendliche könnten ChatGPT weiterhin nutzen, um Gewalt zu verhindern und zu deeskalieren, Unterstützung zu suchen und Kontakt zu einer Vertrauensperson aufzunehmen.

OpenAI erklärte, das Unternehmen habe sein System zur Altersschätzung verbessert. Es wertet Signale wie Verhaltensmuster aus, um einzuschätzen, ob ein Nutzer unter oder über 18 Jahre alt sein könnte. Das System soll neue Signale, während Menschen ChatGPT nutzen, fortlaufend bewerten und Nutzer bei Bedarf in die Umgebung für unter 18-Jährige versetzen. Nutzer, die fälschlicherweise dieser Umgebung zugeordnet wurden, können über Persona, den Partner von OpenAI für die Altersverifizierung, bestätigen, dass sie erwachsen sind. Anschließend werden die zusätzlichen Schutzmaßnahmen für Jugendliche aufgehoben.

Bei verknüpften Konten mit elterlicher Kontrolle können Sicherheitsbenachrichtigungen versendet werden, wenn speziell geschulte Prüfer eine ernsthafte Sorge wegen Selbstverletzung und Verhaltensweisen feststellen, die mit Essstörungen in Verbindung stehen könnten. Im Juli 2026 weitete OpenAI diese Benachrichtigungen aus: Eltern werden nun informiert, wenn das Konto eines Jugendlichen wegen eines Verstoßes gegen die Nutzungsrichtlinien zu Gewalt deaktiviert wurde. Das Unternehmen erklärte außerdem, daran zu arbeiten, Eltern zu benachrichtigen, wenn es das Konto eines Jugendlichen vorübergehend sperrt, weil dieser wiederholt über Gewalt gesprochen hat.

Die Maßnahmen bauen auf Sicherheitsfunktionen für Jugendliche auf, die OpenAI bereits Anfang 2026 eingeführt hat. Am 18. August 2026 führte das Unternehmen ChatGPT für Jugendliche ein. Nutzerinnen und Nutzer, die nach Schätzung des Systems unter 18 Jahre alt sind oder ein Alter zwischen 13 und 17 Jahren angeben, erhalten automatisch eine Nutzungserfahrung mit standardmäßig aktivierten Schutzmaßnahmen, die auf den Grundsätzen für unter 18-Jährige in seinem Model Spec beruhen. Am 20. Januar 2026 begann OpenAI damit, die Altersschätzung für ChatGPT-Verbraucherangebote einzuführen. Dabei werden Verhaltens- und Kontoindikatoren genutzt, um einzuschätzen, ob ein Konto wahrscheinlich einer Person unter 18 Jahren gehört. Ein Update vom 25. August 2026 weist darauf hin, dass die Einführung des Systems in der EU begonnen hatte.

OpenAI erklärte, dass die in der Ankündigung beschriebenen Schutzmaßnahmen in den nächsten Wochen schrittweise eingeführt werden und das Unternehmen sie weiter verfeinern wird.