Google startet Multimodalen Wissensagenten-Benchmark für visuelle Aufgaben

Google hat in Zusammenarbeit mit Artificial Analysis den Multimodalen Wissensagenten (MKA) Benchmark eingeführt, um zu bewerten, wie KI-Agenten visuell komplexe Aufgaben in professionellen Arbeitsabläufen bewältigen. Der Benchmark zielt darauf ab, die Einschränkungen von Text-basierten Benchmarks zu überwinden, indem er sich auf Aufgaben konzentriert, die ein Denken über multimodale Eingaben wie Bilder, Seitenlayouts und Tabellenkalkulationen erfordern.

Benchmark-Design und -Umfang

Der MKA-Benchmark wurde mit Input von Fachleuten aus 10 Branchen und 83 Berufen entwickelt, darunter Architekten, Biologen, Underwriter und Datenwissenschaftler. Der Evaluationssatz besteht aus 200 Aufgaben, die reale Arbeitsabläufe simulieren, wobei jede Aufgabe zwischen drei und 8 Stunden Aufwand eines erfahrenen Fachmanns erfordert. Die Aufgaben sind mit multimodalen Eingabedateien, realistischen Aufforderungen und einem von Experten verfassten Bewertungsraster ausgestattet, das ungefähr 70 Ja/Nein-Prüfungen umfasst. Das Raster gewichtet die faktische Genauigkeit mit 75% und das visuelle Design mit 25% .

Um Fairness und Konsistenz zu gewährleisten, werden alle Modelle mit dem Open-Source-Agenten-Harness Stirrup bewertet, das eine standardisierte Reihe von Werkzeugen, eine Sandbox-Umgebung und ein festgelegtes Wendebudget bietet. Die Ergebnisse werden von einem agentischen Auto-Reviewer bewertet, der auf einem Nicht-Google-Modell basiert und während der Tests eine Übereinstimmungsrate von 96% mit menschlichen Fachexperten erzielte. Um Datenlecks zu vermeiden, bleibt der 200 -Aufgaben-Evaluationssatz privat, während ein separater Satz von 10 öffentlichen Aufgaben auf Hugging Face für eine breitere Experimentation verfügbar ist.

Leistungsberichte und Gemini 4 Carbon

Der technische Bericht von Google hebt die signifikante Variabilität in der Modellleistung beim MKA-Benchmark hervor. Grenzmodelle zeigten Unterschiede in der Effizienz und benötigten im Durchschnitt zwischen 30 und 130 Drehungen, um Aufgaben abzuschließen. Der Bericht unterstreicht die Bedeutung starker Wahrnehmungsfähigkeiten für den Erfolg in visuell komplexen Arbeitsabläufen.

Unter den getesteten Modellen hat sich Gemini 4 Carbon als herausragender Performer etabliert und belegt den zweiten Platz in der Qualität bei gleichzeitig sechs Mal niedrigeren Kosten im Vergleich zum bestbewerteten Modell. An der Pareto-Front hinsichtlich Qualität und Preis positioniert, ist Gemini 4 Carbon nun über die Gemini API im Google AI Studio zugänglich, mit aktualisierter Entwicklerdokumentation für die Integration.

Nächste Schritte

Forscher und Entwickler können den MKA-Benchmark erkunden und ihre Modelle bei Artificial Analysis bewerten. Die Initiative stellt einen bedeutenden Schritt zur Verbesserung der Fähigkeit der KI dar, reale multimodale berufliche Aufgaben zu bewältigen, mit Auswirkungen auf Branchen, die auf visuell intensive Arbeitsabläufe angewiesen sind.