En nuestro mundo digital en rápida evolución, la demanda de gratificación instantánea nunca ha sido tan alta. Ya sea que estemos buscando información, productos o servicios, esperamos que nuestras consultas sean respondidas a la velocidad del rayo y con precisión milimétrica. Sin embargo, la búsqueda de velocidad y precisión suele presentar un desafío formidable para los motores de búsqueda modernos.

Los modelos de recuperación tradicionales enfrentan una contrapartida fundamental: cuanto más precisos sean, mayor será el costo computacional y la latencia. Esta latencia puede ser un factor decisivo y afectar negativamente a la satisfacción del usuario, los ingresos y la eficiencia energética. Los investigadores han estado lidiando con este enigma, buscando formas de ofrecer eficacia y eficiencia en un solo paquete.

En un estudio innovador, un equipo de investigadores de la Universidad de Glasgow ha revelado una solución ingeniosa que aprovecha la potencia de modelos de transformadores más pequeños y eficientes para lograr una recuperación ultrarrápida sin sacrificar la precisión. Conozca los Cross-Encoders superficiales: un novedoso enfoque de IA que promete revolucionar la experiencia de búsqueda.

Los codificadores cruzados poco profundos se basan en modelos de transformadores con menos capas y requisitos computacionales reducidos. A diferencia de sus homólogos más grandes, como BERT o T5, estos prácticos modelos pueden estimar la relevancia de más documentos dentro del mismo presupuesto de tiempo, lo que potencialmente conduce a una mejor efectividad general en escenarios de baja latencia.

Pero entrenar estos modelos más pequeños de forma eficaz no es tarea fácil. Las técnicas convencionales a menudo dan como resultado un exceso de confianza e inestabilidad, lo que dificulta el desempeño. Para superar este desafío, los investigadores introdujeron un ingenioso esquema de entrenamiento llamado gBCE (entropía cruzada binaria generalizada), que mitiga el problema del exceso de confianza y garantiza resultados estables y precisos.

El esquema de entrenamiento de gBCE incorpora dos componentes clave: (1) un mayor número de muestras negativas por instancia positiva y (2) la función de pérdida de gBCE, que contrarresta los efectos del muestreo negativo. Al equilibrar cuidadosamente estos elementos, los investigadores pudieron entrenar codificadores cruzados superficiales altamente efectivos que superaron consistentemente a sus contrapartes más grandes en escenarios de baja latencia.

En una serie de experimentos rigurosos, los investigadores evaluaron una variedad de modelos Cross-Encoder poco profundos, incluidos TinyBERT (2 capas), MiniBERT (4 capas) y SmallBERT (4 capas), frente a líneas de base de tamaño completo como MonoBERT-Large y MonoT5. -Base. El resultado fue sumamente impresionante.

En el conjunto de datos TREC DL 2019, el diminuto modelo TinyBERT-gBCE logró una puntuación NDCG@10 de 0,652 cuando la latencia se limitó a solo 25 milisegundos, una asombrosa mejora del 51 % con respecto al modelo MonoBERT-Large, mucho más grande (NDCG@10 de 0,431) bajo la misma restricción de latencia.

Sin embargo, las ventajas de los codificadores cruzados poco profundos van más allá de la simple velocidad y precisión. Estos modelos compactos también ofrecen importantes ventajas en términos de eficiencia energética y rentabilidad. Con su modesto espacio de memoria, se pueden implementar en una amplia gama de dispositivos, desde potentes centros de datos hasta dispositivos periféricos con recursos limitados, sin la necesidad de aceleración de hardware especializada.

Imagine un mundo en el que sus consultas de búsqueda sean respondidas a la velocidad del rayo y con precisión milimétrica, ya sea que esté utilizando una estación de trabajo de alta gama o un dispositivo móvil modesto. Ésta es la promesa de los Cross-Encoders superficiales, una solución revolucionaria que podría redefinir la experiencia de búsqueda para miles de millones de usuarios en todo el mundo.

A medida que el equipo de investigación continúa refinando y optimizando esta tecnología innovadora, podemos mirar hacia un futuro en el que el equilibrio entre velocidad y precisión se convierta en una cosa del pasado. Con los codificadores cruzados superficiales a la vanguardia, la búsqueda de resultados de búsqueda instantáneos y precisos ya no es un sueño lejano: es una realidad tangible a nuestro alcance.

Revisar la Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo. Únete a nuestro Canal de telegramas, Canal de discordiay LinkedIn Grarriba.

Si te gusta nuestro trabajo, te encantará nuestro Boletin informativo..

No olvides unirte a nuestro SubReddit de 39k+ ML

Vibhanshu Patidar es pasante de consultoría en MarktechPost. Actualmente cursa una licenciatura en el Instituto Indio de Tecnología (IIT) Kanpur. Es un entusiasta de la robótica y el aprendizaje automático con una habilidad especial para desentrañar las complejidades de los algoritmos que unen la teoría y las aplicaciones prácticas.