PNL ilustrada, Parte 1: Codificación de texto | de Shreya Rao | noviembre de 2024

Una guía ilustrada para la traducción de texto a número, con código

Bienvenido de nuevo al rincón de Internet donde tomamos conceptos de aprendizaje automático que parecen complejos e ilustramos nuestro camino a través de ellos, ¡solo para descubrir que no son tan complicados después de todo!

Hoy iniciamos una nueva serie sobre procesamiento del lenguaje natural (PNL). Esto es emocionante porque la PNL es la columna vertebral de todos los Modelos de lenguaje grandes (LLM) los vemos en todas partes: piense en Claude, GPT y Llama.

En términos simples, la PNL ayuda a las máquinas a dar sentido al lenguaje humano, ya sea comprendiéndolo, analizándolo o incluso generándolo.

Si has estado siguiendo nuestro Viaje de aprendizaje profundohemos aprendido que, en esencia, las redes neuronales operan según un principio simple: toman una entrada, hacen su magia matemática y escupen una salida.

Para que las redes neuronales hagan esto, tanto la entrada como la salida deben estar en un formato que comprendan: números.

Esta regla se aplica ya sea que estemos trabajando con un modelo sencillo…