Google Запускает Бенчмарк Мультимодальных Агентов Знаний для Визуальных Задач
Google, в сотрудничестве с Artificial Analysis, запустил бенчмарк Мультимодального Агента Знаний (MKA) для оценки того, как агенты ИИ справляются с визуально сложными задачами в профессиональных рабочих процессах. Бенчмарк направлен на устранение ограничений текстовых бенчмарков, сосредоточиваясь на задачах, которые требуют логического мышления на основе мультимодальных вводов, таких как изображения, макеты страниц и таблицы.
Дизайн и Объем Бенчмарка
Бенчмарк MKA был разработан с участием экспертов из различных 10 отраслей и 83 профессий, включая архитекторов, биологов, оценщиков и специалистов по данным. Набор для оценки состоит из 200 задач, которые имитируют рабочие процессы из реальной жизни, каждая из которых требует от трех до 8 часов усилий от опытного специалиста. Задачи сочетаются с мультимодальными входными файлами, реалистичными подсказками и экспертной рубрикой, состоящей примерно из 70 проверок «да/нет». Рубрика оценивает фактическую точность на уровне 75% и визуальный дизайн на уровне 25% .
Чтобы обеспечить справедливость и согласованность, все модели оцениваются с использованием открытого агента Stirrup, который предоставляет стандартный набор инструментов, песочницу и фиксированный бюджет на ходы. Результаты оцениваются с помощью авторейта, построенного на модели, не относящейся к Google, которая продемонстрировала уровень согласия 96% с человеческими экспертами во время тестирования. Чтобы избежать утечек данных, набор для оценки 200 задач сохраняется в закрытом доступе, тогда как отдельный набор публичных задач 10 доступен на Hugging Face для более широких экспериментов.
Insights по Производительности и Gemini 4 Carbon
Технический отчет Google подчеркивает значительную вариативность производительности моделей на бенчмарке MKA. Модели передового уровня продемонстрировали различия в эффективности, требуя в среднем от 30 до 130 ходов для завершения задач. Отчет подчеркивает важность мощных возможностей восприятия для успеха в визуально сложных рабочих процессах.
Среди протестированных моделей Gemini 4 Carbon выделился как выдающийся исполнитель, занявший второе место по качеству при достижении в шесть раз меньших затрат по сравнению с моделью, показавшей наилучший результат. Расположенный на границе Парето качества и цены, Gemini 4 Carbon теперь доступен через Gemini API в Google AI Studio, с обновленной документацией для разработчиков, доступной для интеграции.
Следующие Шаги
Исследователи и разработчики могут изучать бенчмарк MKA и оценивать свои модели в Artificial Analysis. Эта инициатива является значительным шагом в направлении повышения способности ИИ справляться с реальными многомодальными профессиональными задачами, что имеет значительные последствия для отраслей, зависящих от визуально интенсивных рабочих процессов.