Todo lo que necesita saber sobre las bases de datos vectoriales y cómo utilizarlas para mejorar sus aplicaciones LLM |  de Dominik Polzer |  septiembre de 2023

Una guía paso a paso para descubrir y aprovechar el poder de las bases de datos vectoriales

Por qué necesitamos Vector Stores para aplicaciones LLM – Imagen del autor

Introducción

¿Qué tienen de especial las bases de datos vectoriales?
¿Cómo asignamos el significado de una oración a una representación numérica?
¿Cómo ayuda eso a nuestra aplicación LLM?
¿Por qué no podemos simplemente darle al LLM todos los datos que tenemos?

Tutorial práctico: texto a incrustaciones y métricas de distancia

1. Texto a incrustaciones
2. Trazar 384 dimensiones en 2 usando PCA
3. Calcula las métricas de distancia.

Hacia las tiendas de vectores

¿Cómo acelerar la búsqueda de similitudes?
¿Cuáles son las diferentes Vector Stores entre las que podemos elegir?

Tutorial práctico: configura tu primera tienda Vector

1. Instalar croma
2. Obtener/crear un cliente croma y una colección
3. Agregue algunos documentos de texto a la colección.
4. Extraiga todas las entradas de la base de datos al archivo de Excel.
5. Consultar la colección.

Resumen
Referencias

Las bases de datos vectoriales son un tema candente en este momento. Las empresas siguen recaudando dinero para desarrollar sus bases de datos vectoriales o para agregar capacidades de búsqueda vectorial a sus bases de datos SQL o NoSQL existentes.

Financiamiento de tiendas vectoriales: imagen del autor (Chroma, 2023; Cook, 2022; Miller, 2022)

Las bases de datos de vectores permiten buscar y comparar rápidamente grandes colecciones de vectores. Esto es muy interesante porque los modelos de incrustación más actualizados son altamente capaces de comprender la semántica/significado detrás de las palabras y traducirlas en vectores. Esto nos permite comparar oraciones de manera eficiente entre sí.