OpenAI Lance un Outil Gratuit pour Détecter le Matériel Pédopornographique Généré par l'IA
OpenAI a dévoilé un nouvel outil destiné à détecter le matériel pédopornographique (CSAM), y compris le contenu généré par l'intelligence artificielle, dans le cadre de ses efforts élargis pour combattre l'exploitation en ligne des enfants. Cet outil, disponible gratuitement pour les organisations vérifiées via l'API OpenAI, est conçu pour aider les organisations de sécurité de l'enfance et les forces de l'ordre à identifier et à traiter de manière plus efficace le matériel abusif.
Technologie Avancée de Détection CSAM
Le classificateur d'images nouvellement lancé est capable d'identifier un CSAM potentiel, y compris le matériel généré par l'IA, en analysant les signes visuels d'abus. Il fournit des scores pour aider les examinateurs à donner la priorité aux images qui peuvent nécessiter une attention immédiate. OpenAI a collaboré avec le National Center for Missing and Exploited Children (NCMEC) dans le but de former et d'évaluer le classificateur pour un déploiement dans le monde réel. Cela marque le premier classificateur CSAM largement disponible avec un signal spécifique pour détecter le contenu généré par l'IA.
OpenAI a souligné que cet outil s'appuie sur ses sauvegardes existantes, qui incluent l'interdiction de CSAM, la formation de modèles d'IA pour rejeter les demandes de matériel abusif et la prise de mesures contre les comptes enfreignant ses politiques. La société a également introduit des avertissements de produit dans ChatGPT pour interrompre les comportements nuisibles et a mis en œuvre des suspensions de 24 heures pour les tentatives d'accès à un contenu abusif.
Collaboration entre Organisations
Reconnaissant que la sécurité des enfants est un problème de l'industrie dans son ensemble, OpenAI s'associe à des organisations telles que la Tech Coalition et ROOST pour partager l'accès à ce nouvel outil. La société participe également au programme Lantern de la Tech Coalition, qui facilite la collaboration interplateformes en partageant des signaux liés à l'exploitation en ligne des enfants. OpenAI a exprimé son fort soutien pour des outils complémentaires développés par d'autres organisations, comme le système de détection CSAM plus sûr de Thorn.
Soutien aux Forces de l'Ordre et aux Développeurs
En plus du classificateur d'images, OpenAI fournit des ressources pratiques pour les développeurs et un soutien aux enquêteurs en matière de sécurité de l'enfance. Ces efforts sont en accord avec le Plan de Sécurité de l'Enfance de l'entreprise, qui définit son engagement à détecter, bloquer et signaler les abus tout en responsabilisant les parents avec une technologie qui priorise la sécurité des enfants.
En offrant ces outils et en favorisant la collaboration entre les secteurs, OpenAI vise à renforcer la lutte mondiale contre l'exploitation en ligne des enfants et à fournir un soutien critique à ceux qui travaillent pour protéger les enfants.