NVIDIA detalla el diseño de rutas de compilación del TensorRT Global Performance Tuner
NVIDIA ha descrito el diseño y el modelo operativo de su TensorRT Global Performance Tuner, una función lanzada en TensorRT 11.1 que busca rutas alternativas de compilación para mejorar el rendimiento de la inferencia respetando las restricciones de precisión, según un blog de desarrolladores publicado en 2026-10-23.
Evidencia y contexto
En la publicación, NVIDIA describe el tuner como un sistema automático, consciente de la precisión y de optimización del rendimiento de extremo a extremo que personaliza las decisiones del compilador para diferentes modelos. La empresa afirma que la idea central es representar estrategias alternativas de programación como rutas de compilación explícitas y buscables, en lugar de depender de una única ruta de compilación predeterminada. Cuando no se especifica ninguna ruta, TensorRT utiliza su ruta de compilación predeterminada, en la que cada perilla del compilador permanece en su valor predeterminado, según NVIDIA.
El blog explica que una ruta de compilación es una combinación de valores de perillas de compilador sintonizables, mientras que la especificación de ruta no es la descripción completa del motor. TensorRT sigue realizando los pasos restantes de construcción del motor, incluida la selección de tácticas, y puede conciliar los valores solicitados con restricciones de red. NVIDIA dice que TensorRT expone las APIs para establecer, consultar y enumerar rutas de compilación a través de IBuilderConfig::setBuildRoute, IBuilderConfig::getBuildRoute e IBuilderConfig::getAllBuildRoutes.
Según la publicación, la muestra de código abierto de trtexec implementa un bucle de ajuste que expande una expresión de ruta en rutas concretas, construye cada candidato, mide la precisión y el rendimiento, excluye rutas que fallen o fallan en comprobaciones de precisión y selecciona el motor elegible más rápido. NVIDIA afirma que TensorRT 11.1 proporciona más de 200 perillas para el ajuste, y que la implementación en Python también será lanzada en Torch-TensorRT 2.15.
Resultados de rendimiento y limitaciones
NVIDIA afirma que el efecto práctico de explorar múltiples rutas de compilación es visible en mediciones de extremo a extremo. En una figura referenciada en la publicación, la empresa compara la ruta TensorRT por defecto, normalizada a 1.0x, con la mejor ruta elegible encontrada durante el ajuste entre diez cargas de trabajo. NVIDIA afirma que la mejora de rendimiento medida fue de 1.14x a 1.63x, dependiendo de la carga de trabajo. La empresa atribuye la variación a diferencias en las oportunidades de optimización entre modelos y formas de despliegue.
La publicación también utiliza un ejemplo hipotético para describir el entrelazamiento rendimiento-precisión. NVIDIA dice que el sintonizador trata la precisión como una restricción y el rendimiento como la métrica de clasificación entre los candidatos que cumplen esa restricción. El blog señala que el conjunto exacto elegible depende de la métrica de precisión proporcionada por el usuario, los datos de referencia y el umbral de tolerancia, y que los recuentos ilustrativos en el ejemplo no son universales. También dice que el experimento mental es independiente de cualquier versión específica de TensorRT y pretende mostrar el principio más amplio de optimización.
NVIDIA afirma que el Global Performance Tuner no elimina los compromisos; en cambio, los hace explícitos. La empresa presenta el proceso como una optimización limitada, con precisión definiendo candidatos aceptables y el rendimiento medido de extremo a extremo determinando al ganador entre esos candidatos.
Guía operativa
La publicación ofrece varias directrices de uso. NVIDIA recomienda elegir la estrategia de búsqueda basada en el tamaño del espacio de búsqueda, tratar la ruta de compilación por defecto como referencia y usar búsqueda rápida, mixta o completa dependiendo de cuántos mandos se estén evaluando. La empresa dice --dryRun puede mostrar la lista de rutas antes de que comience el ajuste, pero esa opción no está soportada con la búsqueda mixta porque su segunda fase depende de mediciones previas.
NVIDIA también dice que el ajuste puede ser incremental y reanudar cuando se utiliza un archivo de caché de ajuste, con --continue permitiendo que un barrido se reanude desde el estado registrado. Para la depuración, --saveAllEngines puede preservar todos los motores producidos durante el ajuste, aunque la empresa advierte que puede requerir un almacenamiento considerable. La publicación añade que los resultados de ajustes anteriores deben tratarse como guía y no como resultados transferibles, ya que la mejor ruta depende del modelo, las formas, el hardware, la pila de software y la versión de TensorRT.
El blog forma parte de un ciclo de lanzamientos más amplio de TensorRT que ha continuado más allá de 11.1. El registro de cambios de NVIDIA muestra que TensorRT 11.3 GA en 2026-09-22 y TensorRT 11.4 GA en 2026-10-09, mientras que TensorRT 11.1 GA se lanzó en 2026-06-24. La última versión que aparece en el contexto proporcionado es 11.4.0.