Google、視覚タスクのためのマルチモーダル知識エージェントベンチマークを開始

Googleは、Artificial Analysisと協力して、プロフェッショナルなワークフローにおける視覚的に複雑なタスクをAIエージェントがどのように扱うかを評価するために、マルチモーダル知識エージェント（MKA）ベンチマークを開始しました。このベンチマークは、画像、ページレイアウト、スプレッドシートなどのマルチモーダル入力にわたる推論が必要なタスクに焦点を当てることで、テキストのみのベンチマークの限界に対処することを目的としています。

ベンチマークの設計と範囲

MKAベンチマークは、10産業および83職業のドメイン専門家からの意見をもとに開発されました。評価セットは、リアルワールドのワークフローをシミュレートする200タスクで構成されており、各タスクは経験豊富な専門家から三​時間から8時間の労力を必要とします。タスクはマルチモーダル入力ファイル、リアルなプロンプト、約70のはい/いいえチェックからなる専門家によって書かれたルーブリックと組み合わせられています。ルーブリックは事実の正確性を75%、視覚デザインを25%で重み付けしています。

公平性と一貫性を確保するために、すべてのモデルは、標準化されたツールセット、サンドボックス環境、および固定ターン予算を提供するオープンソースエージェントハーネス「Stirrup」を使用して評価されます。成果物は、テスト中に人間のドメイン専門家との間で96%の合意率を達成した非Googleモデルに基づいたエージェント作成者によって評価されます。データ漏洩を防ぐため、200タスク評価セットはプライベートに保管されており、10公開タスクの別のセットがHugging Faceでより広範な実験のために利用可能です。

パフォーマンスの洞察とGemini 4 Carbon

Googleの技術報告書では、MKAベンチマークでのモデルパフォーマンスの重要な変動が強調されています。フロンティアモデルは、タスクを完了するために平均して30から130ターンを必要とする効率の違いを示しました。この報告書は、視覚的に複雑なワークフローにおける成功のためには強力な知覚能力が重要であることを強調しています。

テストされたモデルの中で、Gemini 4 Carbonは、品質で第二位にランクインしながら、最高得点モデルに比べてコストが六倍低い突出したパフォーマーとして浮上しました。品質と価格のパレートフロンティアに位置し、Gemini 4 Carbonは現在Google AI StudioのGemini APIを介して利用可能で、統合のための更新された開発者ドキュメントが用意されています。

次のステップ

研究者や開発者は、MKAベンチマークを探求し、Artificial Analysis上で自身のモデルを評価できます。この取り組みは、視覚的に重要なワークフローに依存する業界に影響を与えつつ、AIが現実のマルチモーダルなプロフェッショナルタスクを処理する能力を向上させるための重要なステップを示しています。