Google Lança Benchmark Multimodal de Agente de Conhecimento para Tarefas Visuais

Google, em colaboração com a Artificial Analysis, lançou o benchmark de Agente de Conhecimento Multimodal (MKA) para avaliar como os agentes de IA lidam com tarefas visualmente complexas em fluxos de trabalho profissionais. O benchmark visa abordar as limitações de benchmarks apenas baseados em texto, focando em tarefas que exigem raciocínio através de entradas multimodais, como imagens, layouts de página e planilhas.

Design e Escopo do Benchmark

O benchmark MKA foi desenvolvido com a contribuição de especialistas em vários setores e ocupações 10 , incluindo arquitetos, biólogos, avaliadores de risco e cientistas de dados. O conjunto de avaliação consiste em 200 tarefas que simulam fluxos de trabalho do mundo real, cada uma exigindo de três a 8 horas de esforço de um profissional experiente. As tarefas são emparelhadas com arquivos de entrada multimodal, prompts realistas e um rubrica escrita por especialistas que compreende aproximadamente 70 verificações de sim/não. A rubrica pesa a precisão factual em 75% e o design visual em 25% .

Para garantir justiça e consistência, todos os modelos são avaliados usando o agente de código aberto Stirrup, que fornece um conjunto padronizado de ferramentas, um ambiente de sandbox e um orçamento fixo de turnos. Os entregáveis são avaliados por um autorater autônomo construído com um modelo que não é do Google, que alcançou uma taxa de concordância 96% com especialistas humanos durante os testes. Para prevenir vazamento de dados, o conjunto de avaliação de tarefas 200 é mantido privado, enquanto um conjunto separado de tarefas públicas 10 está disponível no Hugging Face para experimentação mais ampla.

Insights de Desempenho e Gemini 4 Carbon

O relatório técnico do Google destaca uma variabilidade significativa no desempenho dos modelos no benchmark MKA. Modelos de ponta demonstraram diferenças em eficiência, exigindo entre 30 e 130 turnos em média para completar tarefas. O relatório sublinha a importância de fortes capacidades de percepção para o sucesso em fluxos de trabalho visualmente complexos.

Entre os modelos testados, o Gemini 4 Carbon destacou-se como um performer excepcional, classificando-se em segundo lugar em qualidade, enquanto alcançava custos seis vezes mais baixos em comparação com o modelo de melhor pontuação. Posicionado na fronteira de Pareto de qualidade e preço, o Gemini 4 Carbon agora está acessível via API do Gemini no Google AI Studio, com documentação atualizada para desenvolvedores disponível para integração.

Próximos Passos

Pesquisadores e desenvolvedores podem explorar o benchmark MKA e avaliar seus modelos na Artificial Analysis. A iniciativa marca um passo significativo em direção ao avanço da capacidade da IA de lidar com tarefas profissionais multimodais do mundo real, com implicações para indústrias que dependem de fluxos de trabalho visualmente intensivos. (83)