artículo. Dos situaciones.
Escena 1. Un equipo que construye un sistema RAG a lo largo de unos cientos de contratos ha leído el Artículo 2. Las incrustaciones se rompen ante la negación, ante identificadores exactos, ante la brecha entre una pregunta y su respuesta. El primer reflejo del equipo es el que sugiere la literatura: agregar un reranker. Codificador cruzado, más pequeño que un LLM, más inteligente que el coseno, colóquelo entre las incrustaciones y el LLM. Conectan bge-reranker-base, le envían los 100 mejores desde la etapa de incrustación y se quedan con los 10 primeros. Algunas consultas que no se solucionaron ayer parecen funcionar hoy. El equipo está animado.
Escena 2. Dos semanas después, regresa el mismo patrón operativo del Artículo 2. El usuario pregunta “enumere todas las cláusulas que mencionan la rescisión” y el sistema devuelve las tres “más relevantes”, exactamente tres, clasificadas. El contrato tiene once. El usuario pregunta "¿cuál es la regla de cancelación para los no empleados?" El reclasificador nunca ha visto el término mano de obra no empleada de la empresa y coloca un párrafo no relacionado en la parte superior. El usuario pregunta “¿hay alguna cláusula que NO mencione indemnización?” El mismo fracaso de negación que antes; el codificador cruzado no ve complementación lógica más que la incrustación. Mientras tanto, la latencia ahora es de cientos de milisegundos. El codificador cruzado se ejecuta en el momento de la consulta de cada candidato y no hay forma de calcularlo previamente. Peor aún: cuando realizan comparaciones lado a lado con text-embedding-3-large sin el reranker, la incrustación por sí sola a menudo coincide o supera a ada-002 + bge-reranker-base.
El embudo de recuperación clásico tiene el mismo aspecto que en el Artículo 2. La integración barata de similitudes en la parte inferior reduce los millones de candidatos a miles. Un reordenador de codificador cruzado opcional reduce los miles a docenas. El LLM de finalización de chat en la parte superior lee las docenas. El reranker es la capa que se encuentra entre dos grandes constantes en la escala de costo y calidad. Saber qué hace realmente cada etapa es lo que hace que el embudo funcione; Esperar magia en cualquier fase es la forma en la que los equipos pierden seis meses. Este artículo prueba empíricamente el gradiente de costo-rendimiento: cuatro modelos de integración de 2014 a 2024, más tres reordenadores de codificador cruzado disponibles en el mercado, calificados uno al lado del otro en los casos catalogados por el Artículo 2. El resultado es más sorprendente de lo que sugiere el embudo.
Este artículo prueba empíricamente el gradiente de costo-rendimiento: cuatro modelos de integración de 2014 a 2024, más tres reordenadores de codificador cruzado disponibles en el mercado, calificados uno al lado del otro en los casos catalogados por el Artículo 2. El resultado es más sorprendente de lo que sugiere el embudo.
Los siete modelos probados, con sus URL de certificación de licencia (la URL de la página en la que el autor del modelo declara la licencia):
GloVe-avg (2014, vectores de palabras de 300 dimensiones tenues): Apache 2.0, declarado en la tarjeta modelo HuggingFace. all-MiniLM-L6-v2 (2021, 22M parámetros, 384-dim): Apache 2.0, declarado en la tarjeta del modelo HuggingFace. text-embedding-ada-002 (OpenAI 2022, 1536-dim): propietario; Términos de uso de OpenAI. incrustación de texto-3-grande (OpenAI 2024, 3072-dim): propietario; Términos de uso de OpenAI. bge-reranker-base (BAAI 2023, 278M params): licencia MIT, declarada en la tarjeta modelo HuggingFace. bge-reranker-large (BAAI 2023, 560M params): licencia MIT, declarada en la tarjeta modelo HuggingFace. cross-encoder/ms-marco-MiniLM-L-12-v2 (línea de base histórica): Apache 2.0, declarado en la tarjeta del modelo HuggingFace. de sentencia_transformers importa CrossEncoder de openai importa OpenAI # Bi-encoder (la etapa de incrustación del Artículo 2). # Cada texto se convierte en un vector INDEPENDIENTEMENTE. Coseno en el espacio vectorial. cliente = OpenAI() def cosine_score(consulta, pasaje): v_q = client.embeddings.create(input=query, model="text-embedding-ada-002").datos[0].embedding v_p = client.embeddings.create(input=passage, model="text-embedding-ada-002").datos[0].embedding return dot(v_q, v_p) / (norm(v_q) * norm(v_p)) # Reordenador de codificador cruzado. # La consulta y el pasaje se TOKENIZAN JUNTOS y se atienden conjuntamente. # Un pase hacia adelante por par (consulta, pasaje). Devuelve una puntuación de relevancia única. reranker = CrossEncoder("BAAI/bge-reranker-base") def rerank_score(consulta, pasaje): return reranker.predict([(consulta, pasaje)])[0]
Este artículo es una parte del más amplio Entreprise Document Intelligence vol. 1, que construye RAG empresarial ladrillo a ladrillo desde un proceso básico hasta una arquitectura a escala de corpus.
1. Qué es realmente un reranker
Ante las pruebas empíricas, el cuadro arquitectónico. Hay dos razones por las que es importante: el reranker es un verdadero objeto de ingeniería con costes reales, y la posición editorial que defiende la serie sólo tiene sentido una vez que el papel clásico está sobre la mesa.
1.1 El gradiente costo/precisión
Tres etapas, ordenadas por costo por consulta:
Bi-codificador que incorpora similitud. Un vector precalculado por documento. En el momento de la consulta, el modelo codifica la consulta una vez y ejecuta la similitud del coseno con el índice. Milisegundos para millones de candidatos. Barato y aproximado. Reordenador de codificador cruzado. La consulta y el paso se tokenizan juntos y pasan a través de un transformador que atiende a ambos. El resultado es una puntuación de relevancia única por par. No se puede calcular previamente porque la consulta es parte de la entrada. Decenas de milisegundos por par. Costo medio, precisión media. LLM de finalización de chat. Lee un pequeño conjunto de candidatos y produce una respuesta estructurada. Cientos de milisegundos, dólares por millón de tokens. Más caro, más preciso.
Cada etapa se justifica por lo que puede hacer más barata que la siguiente etapa anterior. Las incrustaciones no pueden hacer todo lo que puede hacer un LLM, pero pueden calificar a un millón de candidatos en el tiempo que el LLM lee diez. Los reclasificadores no pueden hacer todo lo que puede hacer un LLM, pero pueden clasificar a mil candidatos en el tiempo que el LLM lee veinte. Ésa es la historia del libro de texto. La sección 2 lo prueba en formas de consulta reales. El gradiente resulta más plano y, a veces, invertido, en comparación con lo que sugiere el embudo.
1.2 El embudo
El cuadro arquitectónico es un embudo. El corpus tiene, digamos, 200.000 páginas. La etapa de incorporación los califica a todos y devuelve los 100 primeros. El reclasificador califica los 100 y devuelve los 10 primeros. El LLM lee los 10 y produce una respuesta. Cada flecha reduce el grupo de candidatos en un orden de magnitud o más, y cada etapa se justifica por el comercio de costo versus calidad con sus vecinos.
Esta lógica de embudo es lo que hace que el reranker sea interesante sólo cuando la etapa ascendente produce un grupo grande. Si ya recupera el top 5 de un canal con un buen alcance, no hay ningún embudo que estrechar. El reclasificador reordena cinco candidatos que el LLM leerá de todos modos. El valor del reranker es proporcional al tamaño del grupo de candidatos que hereda.
Sobre el papel, el embudo es elegante: tres puntajes matemáticamente distintos, cada uno sintonizado con su peldaño de la escala de costo versus calidad, cada uno justificado por el comercio con sus vecinos. En la práctica, la elegancia no se transfiere a las personas para las que está diseñado el sistema. Un experto en negocios que abre un registro de auditoría ve tres puntajes diferentes por página, cada uno en una escala diferente, cada uno producido por un modelo que no comprende y no puede reproducir. El sistema se vuelve más difícil de explicar que los documentos sobre los que se supone que debe responder preguntas. La posición editorial que defiende la serie (desarrollada en la sección 4) no es que el embudo esté mal sobre el papel. Es que los movimientos arquitectónicos que los expertos pueden auditar (vocabulario experto, recuperación consciente de la estructura, clasificación antes de recuperar, canalizaciones específicas por tipo de pregunta) generan más confianza por dólar que la acumulación de puntajes estadísticamente distintos.
1.3 Bi-codificador vs codificador cruzado mecánicamente
La diferencia mecánica importa para lo que cada uno puede modelar. Un bicodificador (el modelo de incrustación del artículo 2) codifica la consulta y el pasaje de forma independiente y luego compara los vectores. Los dos nunca se ven dentro del modelo. Cualquier interacción importante entre ellos (¿este pasaje responde a esta pregunta?) tiene que sobrevivir a la proyección en un vector de dimensión fija para cada lado.
Un codificador cruzado tokeniza la consulta y el paso juntos, separados por un token especial, y los ejecuta a través de un transformador que atiende en ambos lados. Cada token del pasaje puede atender a cada token de la consulta. El modelo puede puntuar directamente "el segundo token de la consulta es una negación; el tercer token del pasaje significa lo contrario". En principio, esto le da a un codificador cruzado acceso a interacciones detalladas que un codificador bi-codificador no puede representar.
En principio. Los datos de entrenamiento y el objetivo deciden lo que realmente se aprende a puntuar.
2. El gradiente costo-rendimiento, probado en los mismos casos
El embudo de libros de texto vende un gradiente limpio de costo-rendimiento: incorporaciones débiles en la parte inferior, incorporaciones fuertes en el medio, reclasificadores de codificador cruzado en la parte superior. Cada paso cuesta más, se supone que cada paso puntúa con mayor precisión. La prueba honesta es tomar los casos catalogados por el Artículo 2 y ejecutarlos en todo el gradiente: cuatro modelos de incrustación desde GloVe-avg (2014) hasta text-embedding-3-large (2024), más tres reordenadores de codificadores cruzados disponibles en el mercado (bge-base, bge-large, ms-marco-MiniLM-L-12-v2). Siete columnas por figura. Lea cada fila horizontalmente y el degradado se mantiene, se rompe o, a veces, se invierte.
Tres cosas que debes observar mientras escaneas cada figura: – ¿La victoria número 1 de la fila TARGET migra de izquierda a derecha (el gradiente se mantiene, modelo más grande = mejor)? ¿El OBJETIVO se queda atascado en los números 2 y 3 en las siete columnas (ningún anotador aprendido capta la forma)? ¿O un modelo más pequeño y más barato clasifica al OBJETIVO más alto que los grandes reclasificadores (el gradiente se invierte)?
Los tres patrones aparecen a continuación.
2.1 Trampa de ficha literal (Artículo 2, sección 1.6)
Consulta sobre hot dog, candidatos: una paráfrasis de comida (TARGET, cero tokens compartidos), la trampa léxica en la que el perro disfrutaba del sol y un señuelo no relacionado. En el artículo 2, ada-002 cayó en la trampa; sólo se recuperó la incrustación de texto-3-grande.
El resultado en la cuadrícula de siete columnas es sorprendente: 3-large sigue siendo el único modelo que convierte la trampa en el número 2 y eleva la paráfrasis al número 1. Ninguno de los tres rerankers lo hace. Apilar bge-large encima de ada-002 no le compra lo que 3-large ya le ofrece gratis en la etapa de integración. Si el presupuesto es “actualizar la incorporación o agregar un reclasificador”, este caso aboga por actualizar la incorporación.
2.2 Recuperación de sinónimos con un distractor léxico duro (Artículo 2, sección 1.2)
Consulta si se necesita tarjeta verde. La respuesta correcta (se requiere una tarjeta de residente permanente para este proceso) no comparte tokens con la consulta, pero es un sinónimo estricto. La trampa (las tarjetas de color verde son populares en las papelerías) comparte TRES fichas (verde, tarjeta, tarjetas) y no está semánticamente relacionada. Esta es la prueba canónica de “superposición de sinónimos versus léxico”.
La cuadrícula muestra una inversión de la afirmación de costo-rendimiento. MiniLM, ada-002, 3-large y bge-base clasifican al sinónimo TARGET #1. Luego, bge-large y ms-marco-MiniLM-L-12-v2 vuelven a caer en la trampa léxica del n.° 1, como si los modelos más grandes/entrenados por MS-MARCO tuvieran un sesgo léxico más fuerte. Dos de los tres rerankers empeoran activamente esto que bge-base. Un equipo que apila automáticamente el mayor reordenador disponible en cada consulta pierde aquí terreno que habría conservado si se hubiera quedado con el pequeño o omitiendo el reclasificador por completo.
2.3 Proximidad temática versus relevancia de la respuesta (Artículo 2, sección 2.3)
Pregunta del usuario: "¿Quién firmó el contrato?" El corpus tiene un pasaje que describe cómo se deben firmar los contratos (de procedimiento, denso en firmado/firma/representante) y un pasaje que es la firma real (Firmado: John Smith, Director de Marketing, con fecha del 15 de marzo de 2025). En cada modelo de incorporación en el artículo 2, el pasaje procesal superó a la firma real. Este es el tipo de discrepancia entre preguntas y respuestas en el que se entrenan los codificadores cruzados (MS-MARCO tiene aproximadamente esta forma repetida millones de veces).
La cuadrícula dice algo que el libro de texto no predice. MiniLM es el único modelo, integrado o reclasificado, que promueve la línea de firma real al puesto número 1. Todas las demás columnas, incluidos los tres reordenadores de codificadores cruzados entrenados explícitamente en este tipo de par, dejan el pasaje de procedimiento en el n.° 1 y la firma en el n.° 2. Una incrustación libre de parámetros de 22M supera a otras seis capas en la prueba canónica de reranker. El gradiente costo-rendimiento no sólo se aplana aquí; se invierte.
2.4 Dilución de la señal en un contexto largo (Artículo 2, sección 2.4)
La misma oración de respuesta, presentada dos veces: una sola, otra enterrada dentro de un párrafo de política de 70 palabras. Un señuelo de actualidad (hablar densamente sobre deducibles, sin dar nunca la respuesta) y un párrafo no relacionado completan los candidatos. En el artículo 2, cada modelo de incrustación eligió solo la respuesta corta, pero perdió el párrafo de respuesta oculta ante el señuelo tópico: el ruido circundante diluyó la señal de la oración de respuesta.
Esta es la única forma en la que los reclasificadores ganan su costo. bge-large, bge-base-saturado y ms-marco-MiniLM clasifican la respuesta corta en el puesto n.º 1 con el párrafo de respuesta oculta en el n.º 2. Recuperan la respuesta enterrada al segundo lugar, donde ada-002 y MiniLM lo tenían tercero o peor. 3-grande ya llega en la etapa de incrustación. Entonces, la imagen es la siguiente: en caso de dilución de la señal, pague por 3 grandes en la etapa de incrustación o apile un reranker gratuito encima de una incrustación más barata. Ambos caminos funcionan. Este es el caso más limpio del artículo para la capa de codificador cruzado.
2.5 La pregunta de sí/no (Artículo 2, apartado 2.6)
El caso más profundo del artículo 2: la respuesta real (Sí, es necesario) a una pregunta de sí/no, frente a una copia literal de las palabras clave de la consulta (Tarjeta de residente permanente) y una combinación más larga. En cada modelo de incrustación, la copia de palabra clave literal superó la respuesta. La única razón por la que los codificadores cruzados existen como capa es que están entrenados en pares de consulta-respuesta donde la respuesta rara vez repite la consulta.
La cuadrícula lo confirma principalmente: la copia literal de la Tarjeta de residente permanente es la número 1 en cada columna. El OBJETIVO (Sí, es necesario) es el n.° 3 o el n.° 4 en todas las incorporaciones y reordenadores de BGE. La única columna que promueve la respuesta real es ms-marco-MiniLM-L-12-v2. Pone Sí, es necesario. en el n.° 2, delante de Es posible que se requiera una tarjeta verde. y la respuesta No. Una pequeña victoria, en una forma de sí/no que nada más maneja. Vale la pena saber que el reranker entrenado por MS-MARCO tiene este comportamiento específico; no es suficiente para diseñar un oleoducto.
Lea las columnas horizontalmente y el gradiente de costo-rendimiento será mayoritariamente plano. En 2.1, el único ganador es 3-grande (una incorporación de 2024, no se requiere reclasificación). En 2.3, el único ganador es MiniLM (una incorporación gratuita de 22 millones de parámetros a partir de 2021). En 2.2, dos de los tres rerankers son peores que los modelos más pequeños. Solo 2.4 (dilución de señal) muestra una victoria limpia en el rerankeador. Apilar un reranker disponible y gratuito encima de una incrustación más barata no proporciona una elevación confiable en lugar de cambiar la incrustación por una más fuerte; En algunas formas duele activamente.
Esto coincide con un patrón que los equipos de ingeniería descubren de la manera más difícil: el dólar marginal se gasta mejor en la etapa de integración (o, como argumenta el resto de la serie, en la arquitectura ascendente: palabras clave expertas, clasificar antes de recuperar) que en un reclasificador. El embudo clásico vende “incrustaciones baratas, reordenadores más precisos” como una escalera limpia. En estas formas de consulta no hay escalera. La sección 3 es el lado más difícil: casos que no se mueven independientemente del anotador que uses.
3. Dónde todavía se rompe el codificador cruzado
Cuatro modos de falla que sobreviven a la capa de codificador cruzado independientemente del tamaño o la familia. El trabajo arquitectónico, del que trata el resto de la serie, es reconocer estos casos en la etapa de análisis de preguntas y encaminarlos a través de canales que no dependen en absoluto de la puntuación de similitud.
3.1 La negación, aún invisible
El artículo 2 ejecutó la prueba de negación en cuatro modelos de integración: consulta “¿Qué NO es una ciudad?”, candidatos París, Nueva York, Ciudad, Mesa. Cada modelo clasificó la Tabla (la única respuesta correcta) en la parte inferior. La ficha de negación no llevaba ninguna señal. ¿Algún codificador cruzado capta la inversión?
Los codificadores cruzados están entrenados en pares (consulta, pasaje_relevante) de la búsqueda web y MS-MARCO. Casi ningún par de formación tiene la forma “el pasaje relevante es el complemento del tema de la consulta”. El modelo aprendió a calificar la alineación temática y un NO en la consulta apenas cambia eso. La solución está en el momento del análisis de las preguntas: detectar la negación, invertir la recuperación (Artículo 6).
3.2 Identificadores exactos y siglas internas
Números de referencia de contratos, códigos internos de productos, siglas que existen sólo dentro de la empresa. La intuición es que la similitud aprendida confundirá al ZRX-2025-A con el cercano ZRX-2024-B. Vamos a ver.
La figura es una lección útil tanto en el diseño de pruebas como en la recuperación. Con sólo tres candidatos y el contrato correcto apareciendo palabra por palabra en el texto del candidato, todo anotador moderno desambigua correctamente. MiniLM, ambas incorporaciones de OpenAI y los tres rerankers colocaron a ZRX-2025-A en el puesto número 1. Sólo GloVe se confunde. El verdadero modo de falla de los identificadores es a escala: un corpus con cientos de contratos cuyo texto circundante sigue un patrón de plantilla (el contrato cubre hasta ), donde el identificador es la única característica discriminatoria. Allí, la señal simbólica literal de la incrustación se convierte en una pequeña fracción del coseno, y las identificaciones cercanas se vuelven borrosas. La desambiguación del identificador de escala de producción pertenece a BM25 o a un índice de coincidencia exacta (Artículo 6, sección 2.2 a través de concept_keywords_df), no a la similitud. La prueba de 3 candidatos aquí simplemente muestra que las incrustaciones no son ciegas a los identificadores cuando el campo es pequeño.
3.3 Listado, el modo de falla canónico
El trabajo del reclasificador es clasificar a los candidatos. Una pregunta de listado los quiere todos. Cada anotador ordenará diligentemente las once cláusulas de rescisión de mayor a menor relevancia; el corte top-k descarta los que ocuparon el puesto más bajo, y el usuario, que solicitó el conjunto completo, obtiene una respuesta parcial.
La solución es la agregación de listas (Artículo 12), no un reordenador. Una pregunta de listado se analiza como una intención list_all en la etapa de análisis de la pregunta y se enruta a una canalización que devuelve todos los elementos coincidentes, no el k superior por puntuación.
3.4 Vocabulario fuera de dominio
Cada modelo de la grilla lleva el sesgo inductivo de su corpus de entrenamiento. Las incorporaciones de OpenAI y los rerankers de BGE están capacitados en datos amplios de recuperación/web; ms-marco-MiniLM-L-12-v2 en MS-MARCO. Los vocabularios especializados (médicos, legales, financieros, regulatorios) se encuentran fuera de esas distribuciones. Ajustar el reranker en los datos del dominio soluciona gran parte de este problema. Pero el ajuste es un proyecto, no una actualización gratuita. Disponible en el mercado, ningún anotador en la red conecta con el término de la empresa.
Fallo universal en las siete columnas. El TARGET ocupa el puesto número 3 en todos los modelos; A los contratistas se les paga por proyecto (la coincidencia léxica superficial) gana en el puesto número 1. Ni la incorporación más grande ni el reranker más grande unen a contratista → mano de obra no empleada. Este es exactamente el problema para el que la serie concept_keywords_df está diseñada para resolver. El experto selecciona el mapeo del contratista → mano de obra no empleada, horas extras → más de 40 horas por semana, y la etapa de recuperación utiliza esas palabras clave directamente. El reclasificador necesitaría realizar ajustes en los contratos de la empresa para aprender el mismo mapeo que acaba de escribir el experto.
4. Dónde los rerankers realmente justifican su costo
La posición de la serie, decía claramente:
Los reordenadores de codificadores cruzados son una alternativa para casos limitados, no la etapa principal de un proceso empresarial. Valen la pena su costo cuando el grupo de candidatos es grande (los 100.000 mejores de una tienda de vectores), el flujo ascendente es coseno genérico y no hay tiempo para construir una canalización seleccionada. Añaden poco cuando el upstream ya es pequeño, ya tiene alcance y está estructurado.
En la empresa de producción RAG, tres movimientos arquitectónicos hacen que el valor del reranker sea menor de lo que sugiere la literatura.
El análisis de preguntas dirige la consulta a una canalización específica. Una pregunta de listado se ejecuta a través de la agregación list_all (Artículo 12), no a través de la recuperación clasificada. Una pregunta de filtrado pasa por filtros de metadatos (Artículo 18), no por puntuación de similitud. Una pregunta de negación se detecta y se invierte en el momento del análisis de la pregunta (artículo 6). Por lo tanto, la entrada del reranker es un pequeño conjunto de candidatos con alcance producido por una canalización estructuralmente apropiada, no un volcado de los 100 principales de un almacén de vectores genérico.
Clasificar antes de recuperar reduce el grupo de candidatos. El artículo 15 desarrolla el paso de clasificación que etiqueta cada documento con metadatos de tema, tipo y fecha. En el momento de la consulta, los filtros de metadatos reducen el corpus candidato de 200.000 documentos a quizás 800. El reclasificador (si es que se ejecuta) se ejecuta en un grupo lo suficientemente pequeño como para que un experto en el dominio pueda revisarlo en quince minutos. Ya no queda ningún embudo de los 100.000 principales que gestionar.
Las palabras clave expertas reemplazan la clasificación probabilística de los casos que importan. El artículo 6 crea la tabla concept_keywords_df que asigna el vocabulario del usuario al vocabulario del documento. El mapeo está curado; es auditable; es exactamente el trabajo que se supone que debe hacer un reclasificador de manera probabilística. Cuando el diccionario de palabras clave cubre el caso, la clasificación se reemplaza por una recuperación estructurada y el valor del reclasificador cae aún más.
El caso legítimo de corpus grandes (miles a cientos de miles de documentos en un almacén de vectores, una sola pregunta ad hoc, no hay tiempo para construir un canal curado) es real, y la serie lo reconoce en los artículos 15 a 20 (escala de corpus). Incluso allí, la medida preferida es clasificar y filtrar primero; el reranker entra para eliminar la ambigüedad del grupo residual.
La conclusión para el lector: los rerankers son útiles. Tienen un lugar real en la literatura. El gradiente costo/precisión es real y el embudo es la realidad de ingeniería de cualquier arquitectura de recuperación de producción. La serie los explica y los utiliza donde ganan su costo. Pero las opciones arquitectónicas que defiende la serie (vocabulario experto, recuperación consciente de la estructura, clasificar antes de recuperar, canalizaciones específicas para tipos de preguntas específicos) empujan al reclasificador a un rincón estrecho en lugar de lo predeterminado. El artículo 9 vuelve a la combinación de métodos en la capa de recuperación; Los artículos 15 a 20 desarrollan el caso a escala de corpus.
5. Conclusión
La pregunta de los reclasificadores es una parte de un marco más amplio: Enterprise Document Intelligence Volumen 1 construye el RAG empresarial ladrillo a ladrillo, con los componentes anteriores (análisis de preguntas, clasificación antes de recuperar, palabras clave de expertos) haciendo el trabajo que generalmente se le pide al reclasificador.
El embudo de libros de texto vende un gradiente limpio de costo-rendimiento: incrustaciones baratas en la parte inferior, un reordenador de codificador cruzado más expresivo arriba y luego el LLM. Se supone que apilar el reranker encima de una recuperación débil soluciona lo que la incrustación omite.
La cuadrícula de siete columnas dice lo contrario. En cuatro de las cinco “victorias esperadas del reclasificador” del Artículo 2, las columnas del codificador cruzado coinciden con la incrustación o funcionan peor. Sólo la dilución de la señal (una respuesta enterrada en un párrafo largo) es una victoria limpia en el cambio de rango. En la trampa del token literal, la prueba canónica de respuesta versus procedimiento y el caso de sinónimo versus distractor, una incrustación fuerte (incrustación de texto-3-grande) o incluso una pequeña y gratuita (MiniLM) a menudo supera a los reclasificadores disponibles en el mercado. Negación, identificadores exactos (con un pequeño recuento de candidatos), vocabulario fuera de dominio, listado: ninguno de ellos se mueve independientemente del anotador que utilice.
La posición editorial de la serie sobrevive a los datos y se ve reforzada por ellos: los reordenadores son un respaldo para una forma específica (dilución de la señal en un contexto largo), no la etapa primaria. El dólar marginal compra más impulso en la etapa de incorporación que en la etapa de reordenación en estas formas de consulta. Los movimientos arquitectónicos que hacen que los rerankers sean en su mayoría redundantes (análisis de preguntas, clasificación antes de recuperar, palabras clave expertas, canalizaciones específicas para intenciones específicas) son lo que construye el resto de la serie. El artículo 3 amplía el argumento (RAG no es aprendizaje automático). Los artículos 6 y 7 construyen los ladrillos aguas arriba. El artículo 9 vuelve a la combinación de métodos en la capa de recuperación. Los artículos 15 a 20 desarrollan el caso a escala de corpus en el que los reclasificadores podrían justificar genuinamente su lugar.
6. Lectura adicional
Nogueira & Cho, Reclasificación de pasajes con BERT, 2019 (arXiv:1901.04085). El artículo fundamental sobre el reordenamiento del codificador cruzado; establece la arquitectura que hereda la familia bge-reranker. Khattab & Zaharia, ColBERT: Búsqueda de pasajes eficiente y eficaz mediante interacción tardía contextualizada sobre BERT, SIGIR 2020 (arXiv:2004.12832). La alternativa de interacción tardía mantiene la atención cruzada a nivel de token pero a un costo de doble codificador. Xiao et al., familia C-Pack/BGE Reranker, 2023 (arXiv:2309.07597). Las notas de la versión de BAAI para los rerankers utilizados en este artículo (bge-reranker-base, bge-reranker-large). Pradeep et al., RankZephyr: ¡La reclasificación por lista de disparo cero eficaz y sólida es muy sencilla!, 2023 (arXiv:2312.02724). Alternativa de LLM como reclasificador; relevantes una vez que los costos del modelo de frontera caigan aún más.