OpenAIがAIワークロードの監視と安全性のためのコントロールルームを発表

OpenAIはコントロールルームを発表しました。これは、研究インフラ全体のAIワークロードを監視し管理するための集中的なシステムです。このツールは、ますます強力なAIモデルに関連する安全性とセキュリティリスクの増加に対処することを目的としており、必要に応じて迅速な介入を可能にします。

コントロールルームがAIの安全性を向上させる方法

コントロールルームは、OpenAIの研究インフラに統合され、エージェントサンプリングによるモデルのトレーニング、評価、およびデータ処理を含むすべての推論ワークロードを追跡します。このシステムは、不整合監視ツールと連携して機能し、介入の決定から35秒以内にモデルの出力を停止することができます。この迅速な対応能力により、潜在的な安全またはセキュリティの問題に迅速に対処できることを保証します。

特に、コントロールルームは、システム障害が発生しても操作を継続できるように設計されています。コントロールルームサービス自体がオフラインになる場合、自動的にモデルの出力を停止し、意図しない結果を防ぎます。

技術アーキテクチャとワークフロー

このシステムは、三つの主要コンポーネントを調整して動作します：

• ワークロード：強化学習実験やデータ処理タスクなど、実行される特定の仕事です。エージェント推論を伴う各ワークロードは、承認された安全ケースに関連付けられている必要があります。
• 推論エンジン：AIシステムの「脳」として機能するGPU上で動作するモデルです。複数のワークロードが同じ推論エンジンを利用でき、単一のワークロードが複数のエンジンを含む場合があります。
• コントロールルームサービス：ジョブを追跡し、それが出力を生成し続けることが許可されているかどうかを判断する集中的なシステムです。エンジンは、推論リクエストを満たす前にコントロールルームサービスに確認する必要があります。ジョブが終了された場合、サービスはリクエストを拒否し、更なる出力を効果的に停止します。

ワークフローは、研究者が新しいジョブを開始することで始まり、コントロールルームによって一意のジョブIDが割り当てられます。実行中、ワークロードは推論エンジンから承認を要求し、それがコントロールルームサービスに相談します。ジョブが終了するためにフラグが立てられた場合、サービスはリクエストを拒否し、関連するすべてのモデルの活動を停止します。

展開と運用の影響

コントロールルームは、OpenAIの研究インフラ全体にすでに展開されており、そのような監視が最も重要な場所です。OpenAIの外部モデル提供スタックは、基本的により集中化されており、必要に応じてモデルの展開を迅速に停止するための堅牢な運用能力も備えています。

この開発は、AIシステムが人間の制御下に留まることを確実にするというOpenAIのコミットメントを強調しています。特に、これらの能力と関連するリスクが引き続き増大する中で。