Conozca Gigatoken: un tokenizador Rust BPE que codifica texto a 24,53 GB/s, hasta 989 veces más rápido que los tokenizadores HuggingFace
La tokenización es la única parte del conjunto de modelos de lenguaje que casi nadie perfila. Gigatoken, publicado por Marcel Rød (un estudiante de doctorado de Stanford) bajo una licencia…