OpenAI、AI生成の児童性的虐待材料を検出する無料ツールを発表
OpenAIは、児童性的虐待材料(CSAM)を検出する新しいツールを発表しました。このツールは、人工知能によって生成されたコンテンツを含むもので、オンラインでの子供の搾取に対抗するための拡大した取り組みの一環です。このツールは、OpenAI APIを通じて認定された組織に無償で提供され、子供の安全を守る組織や法執行機関が虐待材料をより効果的に特定し対処するのを支援することを目的としています。
高度なCSAM検出技術
新たに発表された画像分類器は、虐待の視覚的兆候を分析することによって、AI生成の材料を含む潜在的なCSAMを特定することができます。レビュアーが即時の注意を要する可能性のある画像を優先できるようにスコアを提供します。OpenAIは、National Center for Missing and Exploited Children(NCMEC)と協力して、現実の展開のために分類器をトレーニングおよび評価しました。これは、AI生成コンテンツを検出するための特定の信号を持つ初めての広く利用可能なCSAM分類器となります。
OpenAIは、このツールがCSAMの禁止、虐待材料へのリクエストを拒否するためのAIモデルのトレーニング、ポリシーに違反するアカウントへの措置を含む既存の安全対策に基づいていることを強調しました。同社はまた、ChatGPT内で有害な行動を中断するための製品警告を導入し、虐待的なコンテンツへのアクセスを試みた場合には24時間の一時停止を実施しました。
組織間の協力
子供の安全が業界全体の問題であることを認識し、OpenAIはTech CoalitionやROOSTと提携し、この新しいツールへのアクセスを共有しています。同社は、オンラインでの子供の搾取に関する信号を共有することでクロスプラットフォームの協力を促進するTech CoalitionのLanternプログラムにも参加しています。OpenAIは、他の組織によって開発された補完的なツール、例えばThornのSafer CSAM検出システムに強い支援を表明しました。
法執行機関と開発者へのサポート
画像分類器に加えて、OpenAIは開発者向けの実用的なリソースと子供の安全を守る法執行官への支援を提供しています。これらの取り組みは、虐待の検出、ブロック、報告を行い、親に子供の安全を優先する技術を提供するという会社の児童安全ブループリントに沿っています。
これらのツールを提供し、業界全体での協力を促進することで、OpenAIはオンラインでの子供の搾取に対する世界的な戦いを強化し、子供を保護するために努力している人々を支援することを目指しています。