Compilación de antorcha (torch.compile) se introdujo por primera vez con PyTorch 2.0, pero fueron necesarias varias actualizaciones y optimizaciones antes de que pudiera admitir de manera confiable la mayoría de los modelos de lenguaje grandes (LLM).
cuando se trata de inferencia, torch.compile realmente puede acelerar la decodificación con sólo un pequeño aumento en el uso de memoria.
En este artículo, veremos cómo torch.compile funciona y mide su impacto en el rendimiento de inferencia con LLM. para usar torch.compile en su código, solo necesita agregar una sola línea. Para este artículo, lo probé con Llama 3.2 y también lo probé con bitsandbytes cuantización, utilizando dos GPU diferentes: L4 y A100 de Google Colab.
También he creado un cuaderno que demuestra cómo utilizar torch.compile y comparar su rendimiento aquí:
torch.compile proporciona una forma de acelerar los modelos convirtiendo el código PyTorch estándar en código de máquina optimizado. Este enfoque, llamado compilación JIT (Just-In-Time), hace que el código se ejecute de manera más eficiente en hardware específico, es decir, más rápido que el código Python normal. Es particularmente bueno para modelos complejos donde incluso la velocidad pequeña…