LLMS ahora puede retener una alta precisión a la precisión de 2 bits: los investigadores de UNC Chapel Hill introducen TACQ, un enfoque de cuantización consciente de tareas que preserva los circuitos de peso críticos para la compresión sin pérdida de rendimiento
Los LLM muestran capacidades impresionantes en numerosas aplicaciones, pero enfrentan desafíos debido a las demandas computacionales y los requisitos de memoria. Este desafío es agudo en escenarios que requieren la…