NVIDIA подробно описывает дизайн маршрута сборки TensorRT Global Performance Tuner
NVIDIA изложила дизайн и операционную модель своего TensorRT Global Performance Tuner — функции, выпущенной в TensorRT 11.1 , которая ищет альтернативные маршруты сборки для повышения производительности вывода при соблюдении ограничений точности, согласно блогу разработчиков, опубликованному 2026-10-23.
Доказательства и контекст
В публикации NVIDIA описывает тюнер как автоматическую, точную и сквозную систему оптимизации производительности, которая настраивает решения компилятора для разных моделей. Компания утверждает, что основная идея заключается в представлении альтернативных стратегий планирования как явных и поисковых маршрутов сборки, а не в использовании одного пути компиляции по умолчанию. Когда маршрут не указан, TensorRT использует свой стандартный маршрут сборки, при котором каждая ручка компилятора остаётся на своём значении по умолчанию, сообщает NVIDIA.
В блоге объясняется, что маршрут сборки — это комбинация настраиваемых значений ручок компилятора, тогда как спецификация маршрута не является полным описанием движка. TensorRT по-прежнему выполняет оставшиеся этапы построения движка, включая выбор тактики, и может сверять запрошенные значения с сетевыми ограничениями. NVIDIA утверждает, что TensorRT предоставляет API для установки, запроса и перечисления маршрутов сборки через IBuilderConfig::setBuildRoute, IBuilderConfig::getBuildRoute и IBuilderConfig::getAllBuildRoutes.
Согласно публикации, открытый пример trtexec реализует цикл настройки, который расширяет выражение маршрута в конкретные маршруты, строит каждого кандидата, измеряет точность и производительность, исключает маршруты, которые сбывают или не проходят проверку точности, и выбирает самый быстрый подходящий движок. NVIDIA сообщает, что TensorRT 11.1 предоставляет более 200 регуляторов для настройки, а реализация на Python также будет выпущена в Torch-TensorRT 2.15.
Результаты производительности и ограничения
NVIDIA отмечает, что практический эффект от изучения нескольких маршрутов сборки виден в сквозных измерениях. На рисунке, приведённом в посте, компания сравнивает стандартный маршрут TensorRT, нормализованный до 1.0x, с наиболее подходящим маршрутом, найденным при настройке десять рабочих нагрузок. NVIDIA сообщает, что измеренное улучшение производительности варьировалось от 1.14x до 1.63x, в зависимости от нагрузки. Компания объясняет вариации различиями в возможностях оптимизации между моделями и формами развертывания.
В посте также приводится гипотетический пример для описания запутанности производительности и точности. NVIDIA утверждает, что тюнер рассматривает точность как ограничение, а производительность — как показатель рейтинга среди кандидатов, соответствующих этому ограничению. В блоге отмечается, что точный допустимый набор зависит от пользовательской метрики точности, справочных данных и порога допуска, и что иллюстративные подсчёты в примере не являются универсальными. Также говорится, что мысленный эксперимент независим от конкретного релиза TensorRT и предназначен для демонстрации более широкого принципа оптимизации.
NVIDIA утверждает, что глобальный тюнер производительности не исключает компромиссы; вместо этого он делает их явными. Компания рассматривает этот процесс как ограниченную оптимизацию, при этом точность определения приемлемых кандидатов и измеренная полная производительность определяют победителя среди них.
Оперативное руководство
В посте предлагаются несколько рекомендаций по использованию. NVIDIA рекомендует выбирать стратегию поиска, исходя из размера пространства поиска, рассматривать стандартный маршрут сборки как базовую и использовать быстрый, смешанный или полный поиск в зависимости от количества регуляторов, которые находятся на стадии оценки. Компания сообщает — dryRun может отображать список маршрутов до начала настройки, но эта опция не поддерживается в смешанном поиске, так как его вторая фаза зависит от предыдущих измерений.
NVIDIA также заявляет, что настройка может быть инкрементальной и возобновляемой при использовании файла кэша тюнинга, при этом --continue позволяет возобновить свёртывание из записанного состояния. Для отладки --saveAllEngines может сохранять все движки, созданные во время тюнинга, хотя компания предупреждает, что это может потребовать значительного объема памяти. В посте добавляется, что предыдущие результаты тюнинга следует рассматривать как ориентир, а не как переносимые результаты, поскольку лучший путь зависит от модели, формы, аппаратного обеспечения, программного стека и версии TensorRT.
Блог является частью более широкого цикла релизов TensorRT, который продолжается и после 11.1. Журнал изменений NVIDIA показывает, что TensorRT 11.3 GA на 2026-09-22 и TensorRT 11.4 GA на 2026-10-09, а TensorRT 11.1 GA был выпущен 2026-06-24году. Последний релиз, указанный в предоставленном фоне, — 11.4.0.