Perplexity presenta Photon: un motor de recuperación basado en Rust que reduce la latencia de p99 de 800 ms a 65 ms

Perplexity ha lanzado Photon, un motor interno de recuperación y clasificación escrito en Rust. Reemplaza un motor de código abierto que Perplexity había bifurcado para su pila de búsqueda nativa de IA. Photon ahora maneja la recuperación y clasificación de todo el tráfico de producción. También impulsa un nuevo modo de búsqueda rápida en la API de búsqueda de Perplexity. Perplexity informa una latencia de llamada única de 160 ms en p50 y 230 ms en p95.

¿Es desplegable? Sí, como API alojada. Configure search_type: “fast” en POST /search y pague $1 por cada 1000 solicitudes. Photon en sí no es de código abierto, por lo que el motor no puede ser autohospedado.

Por qué Perplexity reemplazó su viejo motor

El viejo motor alcanzó 3 límites a medida que crecía el índice:

Latencia de cola: La producción p99 se situó cerca de 800 ms. El conjunto de datos excedía la RAM, por lo que mlock no era una opción. Las lecturas en frío provocaron errores importantes en la página que paralizaron las consultas. Picos de fusión: durante la fusión del índice del disco, p99 subió a aproximadamente 1,2 s durante 10 a 15 minutos. Recuperación lenta: implementar y sincronizar un clúster adicional podría llevar más de una semana. La recuperación también aumentó la proporción de respuestas parciales.

El equipo de Perplexity concluyó que construir desde cero era más sencillo y económico que mantener su bifurcación.

Cómo funciona el fotón

Un equilibrador de carga enruta cada solicitud a un corredor de Photon. El corredor se despliega hacia un grupo de fragmentos y observa los tiempos de espera. Cada fragmento se ejecuta en recuperación, clasificación inicial y clasificación de segunda etapa. Luego, el corredor fusiona candidatos y recupera campos de documentos clave.

Listas de publicación adaptables: las listas cortas se ubican en línea dentro de una sola página. Listas más largas divididas en bloques de rangos de ID de documentos fijos. Los bloques dispersos almacenan matrices de desplazamiento ordenadas y utilizan la búsqueda galopante. Los bloques densos utilizan mapas de bits, por lo que la membresía se convierte en una búsqueda de un solo bit. Recorrido presupuestado: un algoritmo similar a WAND divide las listas en listas de conducción y listas de sonda. Los controles de presencia baratos limitan primero la puntuación máxima de cada candidato. Las frecuencias de los términos exactos se leen solo cuando un candidato puede superar el umbral. Registros Docblob: cada documento obtiene un registro compacto de frecuencias, máscaras de campo y posiciones. Los términos utilizan la codificación Elias-Fano, por lo que la clasificación decodifica sólo los términos coincidentes. Para clasificar a un candidato solo se necesita una búsqueda por documento. Lecturas asíncronas por lotes: las compensaciones de registros se conocen de antemano, por lo que las lecturas de disco se realizan en lotes a través de io_uring. El caché verifica primero todo el lote. Los lectores no aceptan bloqueos y el desalojo utiliza CLOCK en lugar de una lista LRU compartida. Creación y publicación separadas: los indexadores crean índices de fragmentos versionados a partir de tablas de YTsaurus en nodos dedicados. Un controlador rota los grupos de servicio uno a la vez y calienta los cachés con consultas reproducidas del registro de búsqueda.

Un índice web completo ahora se crea en un número de horas de un solo dígito.

Explicador interactivo: Fotón interior