Tokenizador Unigram de código abierto de Perplexity AI que logra una latencia p50 5 veces menor que la caja de tokenizadores de cara abrazada
El equipo de investigación de Perplexity AI reimplementó su tokenizador Unigram desde cero en Rust y abrió el código en pplx-garden, su repositorio de tecnología de inferencia. En longitudes de…