Google Lance une Référence d'Agent de Connaissance Multimodal pour les Tâches Visuelles

Google, en collaboration avec Artificial Analysis, a lancé la référence de l'Agent de Connaissance Multimodal (MKA) pour évaluer comment les agents d'IA gèrent des tâches visuellement complexes dans les flux de travail professionnels. La référence vise à répondre aux limites des références basées uniquement sur le texte en se concentrant sur des tâches nécessitant un raisonnement à travers des entrées multimodales, telles que des images, des mises en page de pages et des tableurs.

Conception et Portée de la Référence

La référence MKA a été développée avec l'avis d'experts du domaine travaillant dans 10 secteurs et 83 professions, y compris des architectes, des biologistes, des souscripteurs et des scientifiques des données. L'ensemble d'évaluation se compose de 200 tâches qui simulent des flux de travail réels, nécessitant chacune de trois à 8 heures d'effort d'un professionnel chevronné. Les tâches sont associées à des fichiers d'entrée multimodaux, des invites réalistes et une grille rédigée par des experts comprenant environ 70 vérifications oui/non. La grille pèse l'exactitude factuelle à 75% et le design visuel à 25% .

Pour assurer l'équité et la cohérence, tous les modèles sont évalués à l'aide de l'agent open-source Stirrup, qui fournit un ensemble d'outils standardisés, un environnement de bac à sable et un budget de tours fixe. Les livrables sont notés par un autorateur agentique construit sur un modèle non-Google, qui a atteint un taux de conformité de 96% avec des experts du domaine lors des tests. Pour prévenir les fuites de données, l'ensemble d'évaluation de 200 tâches est gardé privé, tandis qu'un ensemble distinct de tâches publiques 10 est disponible sur Hugging Face pour une expérimentation plus large.

Insights sur la Performance et Gemini 4 Carbon

Le rapport technique de Google met en avant une variabilité significative dans la performance des modèles sur la référence MKA. Les modèles de pointe ont démontré des différences en termes d'efficacité, nécessitant entre 30 et 130 tours en moyenne pour compléter les tâches. Le rapport souligne l'importance de capacités de perception solides pour réussir dans des flux de travail visuellement complexes.

Parmi les modèles testés, Gemini 4 Carbon s'est démarqué comme un performer exceptionnel, se classant deuxième en qualité tout en réalisant des coûts six fois inférieurs à ceux du modèle le mieux noté. Positionné sur le front d'opportunité de qualité et de prix, Gemini 4 Carbon est maintenant accessible via l'API Gemini dans Google AI Studio, avec une documentation pour développeurs mise à jour disponible pour l'intégration.

Prochaines Étapes

Les chercheurs et développeurs peuvent explorer la référence MKA et évaluer leurs modèles sur Artificial Analysis. L'initiative marque une étape significative vers l'avancement de la capacité de l'IA à gérer des tâches professionnelles multimodales et réelles, avec des implications pour les industries dépendant de flux de travail visuellement intensifs.