OpenAI annonce un rapport sur la sécurité de la communauté et de nouvelles restrictions sur les armes pour les adolescents

Le 30 octobre 2026, OpenAI a annoncé un rapport sur la prévention de la violence, le Rapport sur la sécurité de la communauté, qu’elle mettra à jour tous les six mois, ainsi que de nouvelles protections qui limitent les informations sur les armes accessibles aux adolescents et renforcent les mesures appliquées par ChatGPT pour répondre aux questions sur les attaques de masse passées. L’entreprise a indiqué avoir effectué plus de 200 signalements aux forces de l’ordre au troisième trimestre 2026.

Un rapport sur la sécurité de la communauté prévu pour début 2027

OpenAI s’est engagée à publier le Rapport sur la sécurité de la communauté, qui portera sur la prévention de la violence et d’autres enjeux liés à la sécurité de la communauté, ainsi que sur l’efficacité de ses mesures de protection. L’entreprise a indiqué que le rapport expliquera comment elle entraîne ses systèmes à détecter les problèmes de sécurité de la communauté, à enquêter sur ceux-ci et à y répondre, présentera des exemples anonymisés de la manière dont se manifestent les préjudices liés à la violence, mettra en évidence de nouvelles mesures d’atténuation et des changements de politique, et inclura des données à l’appui. Le premier rapport est prévu pour début 2027 et portera sur le second semestre 2026. Des mises à jour suivront tous les six mois.

OpenAI a indiqué que le rapport vise à donner au public une idée claire de la manière dont ses modèles repèrent les comportements préjudiciables et y répondent, des risques qu’elle observe concrètement et des mesures qu’elle prend pour y remédier.

OpenAI a indiqué que ses travaux en matière de sécurité consistent notamment à signaler aux forces de l’ordre les menaces imminentes de violence et que ces signalements contribuent efficacement à déjouer des projets d’actes violents. L’entreprise a précisé qu’elle continue de s’appuyer sur des spécialistes de la santé mentale et du comportement pour évaluer les cas difficiles. Elle a également décrit le rôle particulier que les entreprises d’IA peuvent jouer aux côtés des forces de l’ordre, des proches, des professionnels de la santé mentale et des responsables politiques.

Des restrictions plus strictes sur les contenus liés aux attaques de masse

OpenAI a indiqué que ses modèles sont entraînés à ne pas fournir d’instructions susceptibles d’aider quelqu’un à planifier ou à commettre des actes violents. L’entreprise impose des restrictions supplémentaires à la manière dont ChatGPT répond aux questions sur les attaques de masse passées et les personnes qui les ont perpétrées : le modèle doit fournir moins de détails, même si ceux-ci sont accessibles sur d’autres sources en ligne. Les politiques renforcées limitent les reconstitutions d’attaques de masse passées, notamment les détails sur les armes et le matériel utilisés et sur la manière dont ils ont été obtenus, ainsi que les comparaisons détaillées de l’ampleur des préjudices, qui, selon OpenAI, pourraient accroître la notoriété de l’auteur d’une attaque. Ces restrictions s’appliquent quels que soient l’âge de l’utilisateur et le motif de sa demande.

Il est toujours possible de demander à ChatGPT d’aider à comprendre ces événements, leurs répercussions sur les victimes et les communautés, ainsi que la manière de repérer les signes avant-coureurs et de prévenir de futures violences.

En mai 2026, l’entreprise a expliqué comment ChatGPT peut s’appuyer sur de brefs résumés factuels de signes avant-coureurs antérieurs pour répondre avec davantage de prudence lors d’une conversation ultérieure. OpenAI a indiqué qu’elle s’appuie sur ces travaux afin que, lorsque des conversations récentes révèlent des signes avant-coureurs d’une possible violence, ChatGPT fasse preuve de plus de prudence lorsqu’il communique des informations susceptibles d’être détournées. Elle travaille également à appliquer ces restrictions plus strictes lorsqu’elle estime qu’une personne a moins de 18 ans, même si ses conversations ne révèlent aucun signe d’intention violente.

OpenAI bannit les comptes dont elle détermine qu’ils ont enfreint ses politiques relatives aux activités violentes. L’entreprise a indiqué qu’elle travaille avec des spécialistes de la santé mentale et de la prévention de la violence à la mise au point de mesures automatisées supplémentaires pour intervenir plus tôt : lorsqu’une conversation montre qu’une personne est obsédée par la violence ou envisage de gravement blesser quelqu’un, ChatGPT pourra automatiquement mettre fin à la conversation. Si ChatGPT met fin à plusieurs conversations pour cette raison, OpenAI pourra suspendre temporairement le compte.

Des mesures de protection supplémentaires pour les moins de 18 ans

ChatGPT pour les adolescents applique des mesures de protection adaptées à l’âge des utilisateurs de moins de 18 ans. OpenAI impose également de nouvelles restrictions aux informations sur les armes auxquelles les adolescents peuvent accéder, même si une question semble anodine. Les politiques de l’entreprise interdisent déjà d’aider quiconque à planifier ou à commettre des actes violents et limitent l’aide apportée aux adolescents pour trouver ou obtenir des armes. Ces nouvelles restrictions concernent les informations pratiques sur les armes et les systèmes de sécurité qui pourraient être détournées pour faciliter des actes violents, même en l’absence de signes d’intention violente. OpenAI a indiqué que les adolescents peuvent toujours utiliser ChatGPT pour contribuer à prévenir les actes violents et à désamorcer les situations de violence, demander de l’aide et entrer en contact avec un adulte de confiance.

OpenAI a indiqué avoir renforcé son système de prédiction de l’âge, qui analyse des signaux tels que les habitudes comportementales afin d’estimer si un utilisateur a moins ou plus de 18 ans. Le système évalue en continu de nouveaux signaux à mesure que les personnes utilisent ChatGPT et, le cas échéant, les oriente vers l’expérience réservée aux moins de 18 ans. Les utilisateurs orientés à tort vers cette expérience peuvent confirmer qu’ils sont adultes par l’intermédiaire de Persona, le partenaire d’OpenAI pour la vérification de l’âge, et faire supprimer les mesures de protection supplémentaires destinées aux adolescents.

Les comptes parentaux associés comprennent des alertes de sécurité qui peuvent être envoyées lorsque des évaluateurs spécialement formés repèrent un risque grave d’automutilation ou des comportements susceptibles d’être associés à des troubles alimentaires. En juillet 2026, OpenAI a étendu ces alertes afin que les parents soient informés si le compte d’un adolescent a été désactivé pour violation des règles d’utilisation relatives à la violence. L’entreprise a indiqué qu’elle travaille à mettre en place des notifications destinées aux parents si elle suspend le compte d’un adolescent parce qu’il a parlé de violence à plusieurs reprises.

Ces mesures s’appuient sur les fonctionnalités de sécurité pour les adolescents qu’OpenAI a présentées plus tôt en 2026. Le 18 août 2026, l’entreprise a lancé ChatGPT pour les adolescents : les utilisateurs estimés avoir moins de 18 ans, ou déclarant avoir entre 13 et 17 ans, sont automatiquement dirigés vers une expérience assortie par défaut de mesures de protection fondées sur les principes pour les moins de 18 ans de son Model Spec. Le 20 janvier 2026, OpenAI a commencé à déployer la prédiction de l’âge dans les offres grand public de ChatGPT, en s’appuyant sur des signaux comportementaux et des données liées au compte pour estimer si un compte appartient probablement à une personne de moins de 18 ans. Une mise à jour du 25 août 2026 indique que le système avait commencé à être déployé dans l’UE.

OpenAI a déclaré que les mesures de protection détaillées dans l’annonce commenceront à être déployées au cours des prochaines semaines et que l’entreprise continuera de les améliorer.