Google lanza el benchmark de Agente de Conocimiento Multimodal para Tareas Visuales

Google, en colaboración con Artificial Analysis, ha lanzado el benchmark de Agente de Conocimiento Multimodal (MKA) para evaluar cómo los agentes de IA manejan tareas visualmente complejas en flujos de trabajo profesionales. El benchmark tiene como objetivo abordar las limitaciones de los benchmarks solo de texto, enfocándose en tareas que requieren razonamiento a través de entradas multimodales, como imágenes, diseños de páginas y hojas de cálculo.

Diseño y Alcance del Benchmark

El benchmark MKA se desarrolló con la contribución de expertos en diversas 10 industrias y 83 ocupaciones, incluyendo arquitectos, biólogos, evaluadores de riesgos y científicos de datos. El conjunto de evaluación consta de 200 tareas que simulan flujos de trabajo del mundo real, cada una requiriendo de tres a 8 horas de esfuerzo por parte de un profesional experimentado. Las tareas se emparejan con archivos de entrada multimodales, solicitudes realistas y un rubro redactado por expertos que comprende aproximadamente 70 comprobaciones de sí/no. El rubro pesa la precisión fáctica en 75% y el diseño visual en 25% .

Para garantizar la equidad y la consistencia, todos los modelos se evalúan utilizando la herramienta de agente de código abierto Stirrup, que proporciona un conjunto estandarizado de herramientas, un entorno de caja de arena y un presupuesto de turnos fijo. Los entregables son calificados por un autorrevisor ágil construido sobre un modelo no de Google, que alcanzó una tasa de acuerdo 96% con expertos humanos durante las pruebas. Para evitar fugas de datos, el conjunto de evaluación de tareas 200 se mantiene privado, mientras que un conjunto separado de tareas públicas 10 está disponible en Hugging Face para una experimentación más amplia.

Perspectivas de Rendimiento y Gemini 4 Carbon

El informe técnico de Google destaca la variabilidad significativa en el rendimiento de los modelos en el benchmark MKA. Los modelos fronterizos demostraron diferencias en eficiencia, requiriendo entre 30 y 130 turnos en promedio para completar las tareas. El informe subraya la importancia de tener capacidades de percepción sólidas para el éxito en flujos de trabajo visualmente complejos.

Entre los modelos probados, Gemini 4 Carbon se destacó como un rendimiento excepcional, ocupando el segundo lugar en calidad mientras alcanzaba costos seis veces más bajos en comparación con el modelo de mayor puntuación. Ubicado en la frontera de Pareto entre calidad y precio, Gemini 4 Carbon ahora está disponible a través de la API de Gemini en Google AI Studio, con documentación de desarrollador actualizada disponible para integración.

Próximos Pasos

Investigadores y desarrolladores pueden explorar el benchmark MKA y evaluar sus modelos en Artificial Analysis. La iniciativa marca un paso significativo hacia el avance de la capacidad de la IA para manejar tareas profesionales multimodales del mundo real, con implicaciones para industrias que dependen de flujos de trabajo visualmente intensivos.