El progreso reciente en LLMS ha demostrado su potencial en la realización de tareas de razonamiento complejas y el uso de herramientas externas como motores de búsqueda. A pesar de esto, enseñar modelos para tomar decisiones inteligentes sobre cuándo confiar en el conocimiento interno versus la búsqueda sigue siendo un desafío clave. Si bien los métodos simples basados en información pueden guiar a los modelos para invocar herramientas, los LLM aún luchan con comportamientos más matizados, como reconocer cuándo una búsqueda inicial fue incorrecta y decidió buscar nuevamente. RL ha sido explorado para mejorar estos comportamientos recompensando el uso efectivo de la búsqueda. Sin embargo, RL a menudo conduce al uso innecesario de la herramienta, con modelos que ejecutan búsquedas redundantes incluso para tareas simples, destacando ineficiencias que deben abordarse.
Se han utilizado varias estrategias RL, incluida la optimización de políticas proximales (PPO), la optimización de preferencias directas (DPO) y la optimización de políticas relativas del grupo (GRPO), para alinear el comportamiento de LLM con las expectativas humanas. PPO ayuda a equilibrar la exploración del aprendizaje con el mantenimiento de la estabilidad de la política, mientras que DPO simplifica la alineación al optimizar directamente las respuestas del modelo en función de las preferencias del usuario. GRPO presenta evaluaciones grupales para capturar mejor mejoras en el razonamiento. Mientras tanto, tratar los LLM como agentes autónomos que planifican y ejecutan tareas de razonamiento de varios pasos están ganando tracción. Los marcos como AutoGpt y Langchain muestran cómo estos agentes pueden refinar sus resultados a través del razonamiento y la búsqueda iterativa. Sin embargo, los sistemas de agentes actuales a menudo dependen de las indicaciones fijas o el uso de la herramienta basada en heurística, lo que limita su adaptabilidad y eficiencia.
Los investigadores de Ant Group introducen SEM, un marco de aprendizaje de refuerzo posterior al entrenamiento diseñado para enseñar LLM cuándo usar herramientas de búsqueda y cuándo depender del conocimiento interno. Al capacitar en un conjunto de datos equilibrado que combina preguntas que no requieran recuperación externa, SEM guía el modelo para emitir solicitudes de búsqueda solo cuando sea necesario. Utilizando un formato de razonamiento estructurado y GRPO, el marco recompensa respuestas precisas sin búsqueda y penaliza el uso innecesario de la herramienta. Los resultados muestran que SEM mejora la precisión y la eficiencia de la respuesta, ayudando a los modelos a juzgar mejor cuando se necesita información externa, lo que mejora el razonamiento en escenarios complejos.
Para integrar las herramientas de búsqueda en el proceso de razonamiento de un modelo, SEM utiliza modelos de aprendizaje de refuerzo para enseñar cuando y cómo usar la búsqueda de manera efectiva. Los datos de capacitación combinan Musique (preguntas que necesitan información externa) y MMLU (preguntas que respondan de conocimiento previo), ayudando a los modelos a aprender a juzgar cuando la búsqueda es necesaria. Usando el marco GRPO, el modelo es recompensado por respuestas precisas y eficientes, desalentando las búsquedas innecesarias y alentarlas cuando el conocimiento interno se queda corto. Un formato de respuesta estructurada (
El estudio evalúa un modelo capacitado para determinar cuándo confiar en su conocimiento interno y cuándo usar la búsqueda externa. Combina musique (preguntas desconocidas) y MMLU (preguntas familiares) para capacitar y evalúa el rendimiento en conjuntos de datos como HotPotqa, GSM8K y MMLU. El método SEM propuesto supera las líneas de base como ingenuos TRAPO e investigación en precisión de respuesta y eficiencia de búsqueda. SEM reduce las búsquedas innecesarias en preguntas conocidas al tiempo que mejora el razonamiento en las desconocidas. Los estudios de casos y las curvas de capacitación confirman el aprendizaje estable de SEM y la toma de decisiones inteligentes. En general, SEM mejora las decisiones de recuperación y el razonamiento interno en modelos de idiomas grandes.
En conclusión, SEM es un marco de aprendizaje de refuerzo posterior al entrenamiento diseñado para mejorar la forma en que los modelos de idiomas grandes utilizan herramientas de búsqueda externas. El modelo está entrenado en un conjunto de datos que combina musique y MMLU, lo que lo ayuda a distinguir entre preguntas que puede responder internamente y aquellas que requieren recuperación externa. SEM utiliza un enfoque de razonamiento estructurado y una función de recompensa que penaliza las búsquedas innecesarias al tiempo que promueve la recuperación precisa y eficiente. Los experimentos en puntos de referencia como Hotpotqa, GSM8K y MMLU muestran que SEM reduce las búsquedas redundantes y mejora la precisión. Este enfoque mejora la eficiencia del razonamiento y el uso inteligente del conocimiento externo en LLM.
Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, siéntete libre de seguirnos Gorjeo Y no olvides unirte a nuestro 95k+ ml de subreddit.
Sana Hassan, una pasante de consultoría en MarktechPost y estudiante de doble grado en IIT Madras, le apasiona aplicar tecnología e IA para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.