Google, 시각 작업을 위한 다중 모드 지식 에이전트 벤치마크 출시

Google은 Artificial Analysis와 협력하여 AI 에이전트가 전문 작업 흐름에서 시각적으로 복잡한 작업을 처리하는 방식을 평가하기 위한 다중 모드 지식 에이전트(MKA) 벤치마크를 출시했습니다. 이 벤치마크는 이미지, 페이지 레이아웃 및 스프레드시트와 같은 다중 모드 입력을 가로지르는 추론이 필요한 작업에 중점을 둠으로써 텍스트 전용 벤치마크의 한계를 해결하는 것을 목표로 합니다.

벤치마크 설계 및 범위

MKA 벤치마크는 10 산업 및 83 직업의 도메인 전문가의 의견을 바탕으로 개발되었습니다. 평가 세트는 실제 작업 흐름을 시뮬레이션하는 200 작업으로 구성되며, 각 작업은 경험이 풍부한 전문가에게서 삼​시간에서 8 시간의 노력을 요구합니다. 작업은 다중 모드 입력 파일, 현실적인 프롬프트, 약 70 개의 예/아니오 검사를 포함하는 전문가가 작성한 루브릭과 쌍을 이루고 있습니다. 루브릭은 사실 정확성을 75%로, 시각 디자인을 25%로 가중합니다.

공정성 및 일관성을 확보하기 위해 모든 모델은 표준화된 도구 세트, 샌드박스 환경 및 고정된 턴 예산을 제공하는 오픈 소스 에이전트 하네스 Stirrup을 사용하여 평가됩니다. 제출물은 테스트 중 인간 도메인 전문가와 96%의 합의율을 달성한 비-Google 모델에 기반한 에이전트 자동 채점기에 의해 평가됩니다. 데이터 유출을 방지하기 위해 200 작업 평가 세트는 비공개로 유지되며, 10 공개 작업 세트가 Hugging Face에서 더 넓은 실험을 위해 이용 가능합니다.

성능 통찰 및 Gemini 4 Carbon

Google의 기술 보고서는 MKA 벤치마크에서 모델 성능의 중요한 변동성을 강조합니다. 선구적인 모델들은 평균적으로 작업 완료에 30에서 130 턴을 요구하며 효율성의 차이를 보여주었습니다. 이 보고서는 시각적으로 복잡한 작업 흐름에서 성공하기 위해서는 강력한 인식 능력이 중요하다는 점을 강조합니다.

테스트된 모델 중 Gemini 4 Carbon이 품질에서 두 번째로 높은 성과를 내며, 가장 높은 점수를 받은 모델에 비해 비용이 여섯 배 낮은 뛰어난 성과자로 부각되었습니다. 품질과 가격의 파레토 프론티어에 위치한 Gemini 4 Carbon은 현재 Google AI Studio의 Gemini API를 통해 이용 가능하며, 통합을 위한 최신 개발자 문서가 제공됩니다.

다음 단계

연구자와 개발자는 MKA 벤치마크를 탐색하고 Artificial Analysis에서 모델을 평가할 수 있습니다. 이 이니셔티브는 관련 업계에서 시각적으로 집중적인 작업 흐름을 필요로 하는 AI의 능력을 향상시키는 중요한 단계입니다.