generar recorridos de clientes que parezcan fluidos y atractivos, pero evaluar si estos recorridos son estructuralmente sólidos sigue siendo un desafío para los métodos actuales.
Este artículo presenta Continuidad, Profundización y Progresión (CDP), tres métricas deterministas basadas en la estructura del contenido para evaluar viajes de varios pasos utilizando una taxonomía predefinida en lugar de un juicio estilístico.
Tradicionalmente, optimizar los sistemas de participación del cliente ha implicado ajustar los mecanismos de entrega, como el momento, el canal y la frecuencia, para lograr la participación y los resultados comerciales.
En la práctica, esto significó entrenar el modelo para comprender reglas y preferencias, como "No contactar a los clientes con demasiada frecuencia", "El cliente Alfa responde mejor a las llamadas telefónicas" y "El cliente Beta abre los correos electrónicos principalmente por la noche".
Para gestionar esto, creó una matriz de enfriamiento para equilibrar el tiempo, las limitaciones del canal y las reglas comerciales para regir la comunicación con el cliente.
Hasta ahora, todo bien. La mecánica de entrega está optimizada.
En este punto, el desafío central surge cuando el LLM genera el viaje mismo. La cuestión no es sólo el canal o el momento, sino también si la secuencia de mensajes forma una narrativa coherente y efectiva que cumpla con los objetivos comerciales.
Y de repente te das cuenta:
No existe una métrica estándar para determinar si un viaje generado por IA es coherente, significativo o avanza hacia los objetivos comerciales.
Lo que esperamos de un recorrido de cliente exitoso
Desde una perspectiva empresarial, la secuencia de contenidos por paso del viaje no puede ser aleatoria: debe ser una experiencia guiada que se sienta coherente, haga avanzar al cliente a través de etapas significativas y profundice la relación con el tiempo.
Si bien esta intuición es común, también está respaldada por investigaciones sobre el compromiso del cliente. Brodie y cols. (2011) describen el compromiso como “un proceso dinámico e iterativo” que varía en intensidad y complejidad a medida que se cocrea valor a lo largo del tiempo.
En la práctica, evaluamos la calidad del viaje según tres dimensiones complementarias:
Continuidad: si cada mensaje se ajusta al contexto establecido por interacciones anteriores.
Profundización: si el contenido se vuelve más específico, relevante o personalizado en lugar de seguir siendo genérico.
Progresión: si el viaje avanza a través de etapas (por ejemplo, de la exploración a la acción) sin retrocesos innecesarios.
Por qué las métricas de evaluación de LLM existentes se quedan cortas
Si analizamos los métodos de evaluación estándar para los LLM, como las métricas de precisión, las métricas de similitud, los criterios de evaluación humana o incluso el LLM como juez, queda claro que ninguno proporciona una forma confiable e inequívoca de evaluar los viajes de los clientes generados como secuencias de varios pasos.
Examinemos qué pueden y no pueden proporcionar las métricas estándar del recorrido del cliente.
Métricas de precisión (perplejidad, pérdida de entropía cruzada)
Estas métricas miden el nivel de confianza al predecir el siguiente token según los datos de entrenamiento. No capturan si una secuencia generada forma un viaje coherente o significativo.
Métricas de similitud (BLEU, ROUGE, METEOR, BERTScore, MoveScore)
Estas métricas comparan el resultado generado con un texto de referencia. Sin embargo, los recorridos del cliente rara vez tienen una única referencia correcta, ya que se adaptan al contexto, la personalización y las interacciones previas. Los viajes estructuralmente válidos pueden diferir significativamente sin dejar de ser efectivos.
Sin duda, la similitud semántica tiene sus ventajas, y usaremos la similitud coseno, pero hablaremos de eso más adelante.
Evaluación Humana (Fluidez, Relevancia, Coherencia)
El juicio humano a menudo supera a las métricas automatizadas a la hora de evaluar la calidad del lenguaje, pero no es adecuado para la evaluación continua del viaje. Es costoso, sufre de ambigüedad y sesgos culturales, y no funciona como una parte permanente del flujo de trabajo, sino más bien como un esfuerzo único para iniciar una etapa de ajuste.
LLM-as-a-Judge (puntuación de comentarios de IA)
Usar LLM para evaluar los resultados de otros sistemas LLM es un proceso impresionante.
Este enfoque tiende a centrarse más en el estilo, la claridad y el tono que en la evaluación estructural.
LLM-as-a-Judge se puede aplicar en casos de uso de varias etapas, pero los resultados suelen ser menos precisos debido al mayor riesgo de sobrecarga de contexto. Además, los puntajes de evaluación detallados de este método a menudo no son confiables. Al igual que los evaluadores humanos, LAAJ también conlleva sesgos y ambigüedades.
Un enfoque estructural para evaluar los viajes de los clientes
En última instancia, el principal elemento que falta al evaluar las secuencias de contenido recomendadas dentro del recorrido del cliente es la estructura.
La forma más natural de representar la estructura del contenido es mediante un árbol taxonómico, un modelo jerárquico que consta de etapas, temas de contenido y niveles de detalle.
Una vez que los recorridos de los clientes se asignan a este árbol, las métricas de CDP se pueden definir como variaciones estructurales:
Continuidad: movimiento fluido entre sucursales Profundización: pasar a nodos más específicos Progresión: avanzar a través de las etapas del recorrido del cliente
La solución es representar un viaje como un camino a través de una taxonomía jerárquica derivada del espacio de contenidos. Una vez establecida esta representación, las métricas de CDP se pueden calcular de forma determinista a partir de la ruta. El siguiente diagrama resume todo el proceso.
Construyendo el árbol de taxonomía
Para evaluar estructuralmente los recorridos de los clientes, primero necesitamos una representación estructurada del contenido. Construimos esta representación como una taxonomía de varios niveles derivada directamente del texto del recorrido del cliente mediante incrustaciones semánticas.
La taxonomía se basa en un pequeño conjunto de etapas de alto nivel (por ejemplo, motivación, compra, entrega, propiedad y lealtad). Tanto los anclajes como los mensajes de viaje están integrados en el mismo espacio vectorial semántico, lo que permite organizar el contenido por proximidad semántica.
Dentro de cada ancla, los mensajes se agrupan en temas progresivamente más específicos, formando niveles más profundos de la taxonomía. Cada nivel refina el anterior, capturando una especificidad tópica cada vez mayor sin depender del etiquetado manual.
El resultado es una estructura jerárquica que agrupa mensajes de viaje relacionados semánticamente y proporciona una base estable para evaluar cómo los viajes fluyen, se profundizan y progresan a lo largo del tiempo.
Mapeo de los viajes de los clientes en la taxonomía
Una vez establecida la taxonomía, los recorridos de los clientes individuales se asignan a ella como secuencias ordenadas de mensajes. Cada paso está incrustado en el mismo espacio semántico y se compara con el nodo de taxonomía más cercano mediante similitud de coseno.
Este mapeo convierte una secuencia temporal de mensajes en un camino a través de la taxonomía, lo que permite el análisis estructural de la evolución del viaje en lugar de tratar el viaje como una lista plana de textos.
Definición de las métricas de CDP
El marco CDP consta de tres métricas complementarias: Continuidad, Profundización y Progresión. Cada uno captura un aspecto distinto de la calidad del viaje. Describimos estas métricas conceptualmente antes de definirlas formalmente en función del recorrido mapeado por la taxonomía.
Configuración y cálculo
Antes de analizar los viajes reales, aclaramos dos aspectos del montaje.
(1) cómo se representa estructuralmente el contenido del viaje, y
(2) cómo se derivan las métricas de CDP a partir de esa estructura.
El contenido del recorrido del cliente está organizado en una taxonomía jerárquica que consta de anclas (etapas del recorrido L1), encabezados temáticos (temas L2) y nodos más profundos que representan una especificidad cada vez mayor:
Ancla (L1) └── Cabeza (L2) └── Niño (L3) └── Nieto (L4+)
Una vez que un viaje se asigna a esta jerarquía, la Continuidad, la Profundización y la Progresión se calculan de manera determinista a partir del recorrido del viaje a través del árbol.
Deje que el recorrido del cliente sea una secuencia ordenada de pasos:
J = (x₁, x₂,…, xₙ)
A cada paso xᵢ se le asigna:
aᵢ — ancla (etapa del viaje L1) tᵢ — encabezado temático (tema L2), donde tᵢ = 0 significa “desconocido” ℓᵢ — nivel de profundidad de la taxonomía (L1 = 0, L2 = 1, L3 = 2,…)
Continuidad (C)
La continuidad evalúa si los mensajes consecutivos permanecen contextual y temáticamente coherentes.
Para cada transición (xᵢ →xᵢ₊₁), se asigna una puntuación de continuidad a nivel de paso cᵢ ∈ [0, 1] en función de la alineación de la taxonomía, y se otorga mayor peso a las transiciones que permanecen dentro del mismo tema o ramas estrechamente relacionadas.
Las transiciones se clasifican de más fuertes a más débiles (p. ej., mismo tema, tema relacionado, avance de etapa, retroceso) y
pesos decrecientes asignados:
1 ≥ α₁ > α₂ > α₃ > α₄ > α₅ > α₆ ≥ 0
La puntuación de continuidad general se calcula como:
C(J) = (1 / (n − 1)) · Σ cᵢ para i = 1 … n−1
Profundización (D)
La profundización mide si un viaje acumula valor al pasar de un contenido general a uno más específico o detallado.
interacciones. Se calcula utilizando dos componentes complementarios.
La profundización basada en el viaje captura cómo cambia la profundidad a lo largo del camino observado:
Δᵢᵈᵉᵖᵗʰ = ℓᵢ₊₁ − ℓᵢ, dᵢ = máx(Δᵢᵈᵉᵖᵗʰ, 0)
D_viaje(J) = (1 / (n − 1)) · Σ dᵢ
La profundización consciente de la taxonomía mide qué tan profundamente un viaje explora el árbol de taxonomía real, en función de las cabezas que visita.
Evalúa cuántos de los posibles elementos de contenido más profundos (hijos, subhijos, etc.) debajo de cada encabezado visitado se ven más tarde.
durante el viaje.
D_taxonomía(J) = |D_visto(J)| / |D_exist(J)|
La puntuación final de profundización es una combinación ponderada:
D(J) = λ₁ · D_taxonomía(J) + λ₂ · D_viaje(J), λ₁ + λ₂ = 1.
La profundización se encuentra en [0, 1].
Progresión (P)
La progresión mide el movimiento direccional a través de las etapas del viaje. Para cada transición, calculamos:
Δᵢ = aᵢ₊₁ − aᵢ.
Sólo se consideran los pasos en movimiento (Δᵢ ≠ 0). Sea wᵢ la importancia relativa de la etapa actual.
Si Δᵢ > 0 (movimiento hacia adelante):
cᵢ = wᵢ / Δᵢ
Si Δᵢ < 0 (movimiento hacia atrás):
cᵢ = Δᵢ · wᵢ
La puntuación de progresión bruta es:
P_raw(J) = Σ cᵢ para todo i donde Δᵢ ≠ 0
Para vincular la puntuación a [−1, +1], aplicamos una normalización tanh:
P(J) = (e^(P_raw) − e^(−P_raw)) / (e^(P_raw) + e^(−P_raw))
Aplicación de métricas de CDP al recorrido del cliente de automoción
Para demostrar cómo funciona la evaluación estructurada en viajes realistas, generamos un conjunto de datos sintéticos del viaje del cliente automotriz que cubre las principales etapas del ciclo de vida del cliente.
Datos de entrada: anclajes y contenido del recorrido
El marco CDP utiliza dos insumos principales: anclas, que definen las etapas del viaje, y contenido del viaje del cliente, que proporciona los mensajes a evaluar.
Los anclajes representan fases significativas del ciclo de vida, como motivación, compra, entrega, propiedad y lealtad. Cada ancla se complementa con un pequeño conjunto de palabras clave representativas para fundamentarla semánticamente. Los anclajes sirven como puntos de referencia para la construcción de la taxonomía y como flujo direccional esperado que se utilizará más adelante en la métrica de Progresión.
Palabras de anclaje: motivación exploración investigación descubrimiento interés prueba de manejo evaluación de necesidades experiencia compra financiamiento comparación cotizaciones negociación de préstamo crédito preaprobación depósito entrega documentación firma depósito logística entrega activación propiedad mantenimiento garantía reparación distribuidor apoyo servicio inspecciones lealtad retroalimentación encuesta de satisfacción referencia actualización retención defensa
El contenido del recorrido del cliente consta de mensajes breves, de estilo CRM, orientados a la acción (correos electrónicos, llamadas, chats, interacciones en persona) con distintos niveles de especificidad y que abarcan múltiples etapas. Aunque este conjunto de datos se genera sintéticamente, la información de anclaje no se utiliza durante la construcción de la taxonomía ni la puntuación del CDP.
Mensajes de CJ: explore modelos que se adapten a su estilo de vida y objetivos personales. Realice un recorrido virtual para descubrir características y versiones clave. Compare estilos de carrocería para evaluar el espacio, la comodidad y la utilidad. Reserve una prueba de manejo para experimentar el manejo y la visibilidad. Utilice la evaluación de necesidades para clasificar las características imprescindibles. Filtre los modelos por autonomía, mpg o remolque para limitar las opciones.
Resultados de la construcción de taxonomía
Aquí, aplicamos el proceso de construcción de la taxonomía al conjunto de datos de participación del cliente del sector automotriz. La siguiente figura muestra la taxonomía resultante del recorrido del cliente, construida a partir del contenido del mensaje y la semántica del ancla.
Cada rama de nivel superior corresponde a un ancla de viaje (L1), que representa las principales etapas del viaje, como motivación, compra, entrega, propiedad y lealtad.
Los niveles más profundos (L2, L3+) agrupan mensajes por similitud temática y especificidad creciente.
Lo que revela la taxonomía
Incluso en este conjunto de datos compacto, la taxonomía destaca varios patrones funcionales:
Los mensajes de las primeras etapas se agrupan en torno a la exploración y la comparación, y gradualmente se reducen a acciones concretas como reservar una prueba de manejo. El contenido relacionado con las compras se separa naturalmente en planificación financiera, manejo de documentos y finalización. El contenido de propiedad muestra una progresión clara desde la programación de mantenimiento hasta el diagnóstico, la estimación de costos y la evaluación de la garantía. El contenido de fidelización pasa de acciones transaccionales a comentarios, actualizaciones y promoción.
Si bien estos patrones se alinean con la forma en que los profesionales suelen razonar sobre los viajes, surgen directamente de los datos y no de reglas predefinidas.
Por qué esto es importante para la evaluación
Esta taxonomía ahora proporciona una referencia estructural compartida:
Cualquier recorrido del cliente se puede mapear como un camino a través del árbol. El movimiento a través de ramas, niveles de profundidad y anclajes se vuelve mensurable. Continuidad, Profundización y Progresión ya no son conceptos abstractos; ahora corresponden a cambios estructurales concretos.
En la siguiente sección, utilizamos esta taxonomía para mapear ejemplos de viajes reales y calcular puntuaciones de CDP en pasos.
Mapeo de los viajes de los clientes en la taxonomía
Una vez construida la taxonomía, evaluar el recorrido del cliente se convierte en un problema estructural.
Cada viaje se representa como una secuencia ordenada de mensajes dirigidos al cliente.
En lugar de juzgar estos mensajes de forma aislada, los proyectamos en la taxonomía y analizamos el camino resultante.
Formalmente, un viaje J = (x₁, x₂,…, xₙ) se asigna a una secuencia de nodos de taxonomía: (x₁→v₁),(x₂→v₂),…,(xₙ→vₙ) donde cada vᵢ es el nodo de taxonomía más cercano según la similitud de incrustación.
Un recorrido paso a paso: del texto del viaje a las puntuaciones CDP
Para concretar el marco CDP, veamos un ejemplo de recorrido de cliente único y mostremos cómo se evalúa paso a paso.
Paso 1: información sobre el recorrido del cliente
Comenzamos con una secuencia ordenada de mensajes dirigidos al cliente generados por un LLM.
Cada mensaje representa un punto de contacto en el recorrido realista de un cliente de automoción:
viaje = ['Realice un recorrido virtual para descubrir características y versiones clave.'; 'Encontramos un horario para una prueba de manejo que se adapta a su agenda.'; 'Cargue su verificación de ingresos e identificación para finalizar la decisión de aprobación previa.'; 'Estimar costos para próximos elementos de mantenimiento.'; 'Seguimiento de las ofertas de retención a medida que se acerca el final del contrato de arrendamiento.'; 'Agregue placas e información de registro antes de la entrega'].
Paso 2: Mapear el viaje hacia la taxonomía
Para la evaluación estructural, cada paso del recorrido se mapea en la taxonomía del recorrido del cliente. Mediante incrustaciones de texto, cada mensaje se relaciona con su nodo de taxonomía más cercano. Esto produce un mapa de viaje (jmap), una representación estructurada de cómo el viaje atraviesa la taxonomía.
Tabla 2: Cada mensaje se asigna a un ancla (etapa), un encabezado temático y un nivel de profundidad en la taxonomía en función de la similitud semántica en el espacio de incrustación compartido. Esta tabla actúa como base para todas las evaluaciones futuras.
Paso 3: Aplicar las métricas de CDP a este viaje
Una vez que se mapea el viaje, calculamos la Continuidad, la Profundización y la Progresión de manera determinista a partir de las transiciones paso a paso.
Tabla 3: Cada fila representa una transición entre pasos consecutivos del viaje, anotados con señales de continuidad, profundización y progresión.
Puntajes finales del CDP (este viaje):
En conjunto, las señales del CDP indican un viaje que es en gran medida coherente y avanzado, con un claro momento de
profundización y una visible regresión estructural. Es importante destacar que estos conocimientos se derivan únicamente de la estructura, no de
Juicios estilísticos sobre el texto.
Conclusión: de las puntuaciones a los viajes exitosos
La continuidad, la profundización y la progresión están determinadas por la estructura y se pueden aplicar dondequiera que los LLM generen varios pasos.
contenido:
para comparar viajes alternativos generados por diferentes mensajes o modelos, para proporcionar retroalimentación automatizada para mejorar la generación de viajes a lo largo del tiempo.
De esta manera, las puntuaciones del CDP ofrecen retroalimentación estructural para los LLM. Complementan, en lugar de reemplazar, la evaluación estilística o basada en la fluidez al proporcionar señales que reflejan la lógica empresarial y la experiencia del cliente.
Aunque este artículo se centra en el comercio de automóviles, el concepto es ampliamente aplicable. Cualquier sistema que genere contenido ordenado y orientado a objetivos requiere bases estructurales sólidas.
Los modelos de lenguaje de gran tamaño ya son capaces de generar textos fluidos y persuasivos.
El mayor desafío es garantizar que las secuencias de texto formen narrativas coherentes que se alineen con la lógica empresarial y la experiencia del usuario.
CDP proporciona una manera de hacer que la estructura sea explícita, mensurable y procesable.
Gracias por permanecer conmigo durante este viaje. Con suerte, este concepto le ayudará a pensar de manera diferente sobre la evaluación de secuencias generadas por IA y le inspirará a tratar la estructura como una señal principal en sus propios sistemas. Toda la lógica presentada en este artículo se implementa en el código Python adjunto en GitHub. Si tiene alguna pregunta o comentario, déjelo en la sección de comentarios o comuníquese a través de LinkedIn.
Referencias
Brodie, RJ y col. (2011). Compromiso del cliente: dominio conceptual, proposiciones fundamentales e implicaciones para la investigación.