NVIDIA демонстрирует GR00T 2 и Isaac Lab 3.0 на CoRL для продвинутого обучения роботов

NVIDIA представила groundbreaking достижения в области робототехники на конференции 2026 Conference on Robot Learning (CoRL) в Остине, штат Техас. Компания представила GR00T 2, мировую модель действий, и Isaac Lab 3.0, открытую платформу для обучения роботов, для повышения точности и масштабируемости обучения роботов. Эти инновации направлены на преодоление разрыва между лабораторными демонстрациями и практической реализацией, позволяя роботам выполнять сложные, ловкие задачи с большей автономией и адаптивностью.

GR00T 2: Прыжок в мировых моделях действий

GR00T 2, созданная на базе NVIDIA Cosmos, предназначена для обучения роботов ловкой манипуляции с использованием разнообразных наборов данных, включая 100,000 часов открытых данных человека с эгоцентрической точки зрения. Ключевые особенности GR00T 2 включают:

• Готовая производительность: Успешно завершила 40 из 50 оцененных задач без специфических демонстраций для задач.
• Передача навыков: Позволила роботам учиться на демонстрациях человека и адаптировать навыки между различными телами роботов.
• Генерализация с минимальными данными: Достигла уровня успеха 71% в 50 задачах с одной демонстрацией на задачу, увеличившись до 95% с пятью демонстрациями.
• Контроль агента: Предоставила инструменты для AI-агентов для последовательности навыков и восстановления после ошибок.

GR00T 2 среди трех лучших моделей по таким бенчмаркам, как RoboCasa365, RoboLab, RoboDojo и MolmoSpaces. Его тестируют Nexuni для робототехнической стирки, Foxconn для автоматизации производства и Siemens для промышленных приложений. MicroAGI также использовал GR00T 2 для задач замены Ethernet-кабелей с использованием робота YAM.

Isaac Lab 3.0: Масштабирование обучения роботов в симуляции

Isaac Lab 3.0 предоставляет надежную платформу для обучения роботов в смоделированных средах перед их развертыванием в реальном мире. Последняя версия вводит:

• Улучшенная интеграция физики: Поддерживает деформируемые объекты и сложные сочлененные системы с использованием физического движка Ньютон.
• Улучшение скорости обучения: Достигла до 2.5x скорости обучения своего предшественника, Isaac Lab 2.3, в бенчмарках ловкой манипуляции на основе зрения.
• Гибкие инструменты симуляции: Позволяет исследователям переключаться между решателями NVIDIA PhysX и Ньютоновскими, выбирать рендереры для обучения на основе восприятия и применять библиотеки усиления после обучения к базовым моделям, как GR00T.

Skild AI объявила о решателе STEEL, движке физики жесткого тела, построенном на основе Ньтона, чтобы ускорить обучение роботов с Isaac Lab. Flexion продемонстрировала, как Isaac Lab и Ньютон поддерживают ее модель Reflect, сочетая рассуждение и манипуляцию всем телом.

Совместные усилия и более широкое влияние

NVIDIA работает с такими партнерами, как Ambi Robotics, Bosch Research, Siemens и UC Berkeley, чтобы перенести эти достижения в сообщество робототехники. Компания также представила новые рабочие процессы, включая Video to Data, который преобразует человеческое видео в симулированные демонстрации роботов, и EgoHand, модель реконструкции движения руки 3D с более чем 40,000 загрузками на Hugging Face в течение 2 недель с момента запуска.

Объединяя симуляцию, мировые модели действий и рабочие процессы агентной робототехники, новейшие технологии NVIDIA стремятся ускорить развитие роботов, способных выполнять сложные задачи в динамичных условиях, прокладывая путь для более широкого промышленного применения.