OpenAI ajoute des protections pour les adolescents, des limites de violence et des signalements de sécurité
OpenAI a annoncé qu’elle étendait les contrôles de sécurité dans ChatGPT, y compris des limites plus strictes sur les contenus liés à la violence, des protections supplémentaires pour les utilisateurs sous 18 et un rapport public de sécurité communautaire prévu. L’entreprise a indiqué que ces changements visent à réduire les abus tout en améliorant la transparence quant à la manière dont ses systèmes détectent et réagissent aux activités nuisibles.
Preuves et contexte
Dans son annonce du 30 octobre 2026 , OpenAI a indiqué avoir effectué plus de 200 renvois aux forces de l’ordre en Q3 2026 et a décrit ces recommandations comme faisant partie de son approche pour faire face aux menaces imminentes de violence. L’entreprise a indiqué s’appuyer sur des experts en santé mentale et comportementaux pour aider à évaluer les cas difficiles et que ses systèmes sont conçus pour détecter, examiner et amplifier les menaces crédibles.
OpenAI a annoncé qu’elle lancera un rapport sur la sécurité communautaire axé sur la prévention de la violence et d’autres questions de sécurité communautaire, ainsi que sur l’efficacité de ses mesures de protection. Le premier rapport est prévu pour début 2027 et couvrira la seconde moitié de 2026, avec des mises à jour prévues tous les six mois par la suite. L’entreprise a indiqué que le rapport inclura des exemples anonymisés, des changements de politique, de nouvelles mesures d’atténuation et des données de soutien.
L’annonce renforce également la manière dont ChatGPT répond aux questions concernant les attaques de masse passées. OpenAI a indiqué que le système fournira des informations moins détaillées dans ces domaines, y compris des détails sur les armes et équipements utilisés et la manière dont ils ont été obtenus, ainsi que des comparaisons détaillées des dommages pouvant accroître la notoriété d’un attaquant. La société a indiqué que ces limites s’appliquent indépendamment de l’âge ou de l’intention.
Pour les adolescents, OpenAI a indiqué qu’elle ajoutait de nouvelles restrictions sur les informations liées aux armes, y compris des informations pratiques sur les armes et les systèmes de sécurité pouvant être détournés pour faciliter la violence. L’entreprise a indiqué que les adolescents peuvent toujours utiliser ChatGPT pour la prévention, la désescalade, le soutien et la rencontre d’un adulte de confiance. OpenAI a également précisé avoir renforcé la prédiction de l’âge afin de pouvoir évaluer continuellement les nouveaux signaux et faire entrer les utilisateurs dans l’expérience under-18 lorsque cela est approprié, avec une voie de vérification protégeant la vie privée pour les adultes placés par erreur là-bas.
OpenAI a également indiqué qu’elle s’appuyait sur des travaux antérieurs utilisant de courts résumés factuels des signes d’alerte issus de conversations précédentes, et qu’elle pourrait automatiquement mettre fin aux discussions lorsqu’une conversation montre des signes de fixation sur la violence ou des préjudices graves. Si cela se reproduit, la société a indiqué qu’elle pourrait temporairement mettre le compte en pause. Elle a ajouté que les parents liés via ses contrôles parentaux pourraient recevoir des alertes de sécurité, y compris dans certains cas des notifications de désactivation pour violation des politiques de violence, et qu’elle travaille sur les notifications si le compte d’un adolescent est mis en pause pour des discussions répétées sur la violence.
L’entreprise a indiqué que les mesures de sécurité commenceraient à être déployées dans les prochaines semaines. Elle n’a pas fourni un calendrier complet de déploiement pour chaque fonctionnalité, et certaines mesures, notamment l’interruption automatique du chat et les pauses possibles de compte, ont été décrites comme un travail en cours plutôt que comme des fonctionnalités universelles déjà en place.