OpenAI, AI 작업 부하 모니터링 및 안전을 위한 제어실 출시

OpenAI는 연구 인프라 전반의 AI 작업 부하를 모니터링하고 관리하기 위해 설계된 중앙 집중형 시스템인 제어실을 발표했습니다. 이 도구는 점점 더 강력해지는 AI 모델과 관련된 증가하는 안전 및 보안 위험을 해결하기 위해 필요에 따라 신속하게 개입할 수 있도록 합니다.

제어실이 AI 안전성을 향상시키는 방법

제어실은 OpenAI의 연구 인프라와 통합되어, 에이전트 샘플링을 통한 모델 학습, 평가 및 데이터 처리와 같은 모든 추론 작업 부하를 추적합니다. 이 시스템은 불일치 모니터링 도구와 함께 작동하며,介入 결정을 내린 후 35초 이내에 모델 출력을 중단할 수 있습니다. 이러한 신속한 대응 능력은 잠재적인 안전 또는 보안 문제를 신속하게 해결할 수 있도록 보장합니다.

특히, 제어실은 시스템 고장 중에도 작동하도록 설계되었습니다. 제어실 서비스가 오프라인이 되면, 의도하지 않은 결과를 방지하기 위해 자동으로 모델 출력을 중단합니다.

기술 아키텍처 및 워크플로우

시스템은 세 가지 주요 구성 요소를 조정하여 작동합니다:

• 작업 부하: 강화 학습 실험이나 데이터 처리 작업과 같은 수행되고 있는 특정 작업입니다. 에이전트 추론을 포함하는 각 작업 부하는 승인된 안전 사례와 연관되어야 합니다.
• 추론 엔진: AI 시스템의 "두뇌" 역할을 하는 GPU에서 실행되는 모델입니다. 여러 작업 부하가 동일한 추론 엔진을 사용할 수 있으며, 단일 작업 부하는 여러 엔진을 포함할 수 있습니다.
• 제어실 서비스: 작업을 추적하고 출력 생성을 계속할 수 있는지 여부를 결정하는 중앙 집중형 시스템입니다. 엔진은 추론 요청을 이행하기 전에 제어실 서비스에 확인해야 합니다. 작업이 종료되면, 서비스는 요청을 거부하며, 이후의 출력을 효과적으로 중단합니다.

워크플로우는 연구자가 새 작업을 시작할 때 시작되며, 이때 제어실에서 고유한 작업 ID가 할당됩니다. 실행 중, 작업 부하는 추론 엔진에서 권한을 요청하며, 이는 제어실 서비스에 문의합니다. 작업이 종료 플래그를 받으면, 서비스는 요청을 거부하고 모든 관련 모델 활동을 중단합니다.

배포 및 운영 영향

제어실은 OpenAI의 연구 인프라 전역에 이미 배포되어 있으며, 이러한 감독이 가장 중요한 곳입니다. OpenAI의 외부 모델 제공 스택은 본질적으로 더욱 중앙 집중화되어 있으며, 필요할 경우 모델 배포를 신속하게 중단할 수 있는 강력한 운영 능력이 특징입니다.

이 개발은 AI 시스템이 인간의 통제하에 유지되도록 보장하려는 OpenAI의 약속을 강조합니다. 특히 그 능력과 관련된 위험이 계속 증가하는 가운데.