En 2026, el revuelo por los agentes de inteligencia artificial es más fuerte que nunca. Estos programas semiautónomos pueden “pensar” y ejecutar tareas bien definidas en áreas como servicio al cliente y desarrollo de software, normalmente utilizando modelos de lenguaje (LM). Pero campos como el diagnóstico médico y los descubrimientos científicos les exigen investigar sobre una amplia gama de soluciones en entornos inciertos, con los que los LM luchan.
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y de la Escuela de Ingeniería y Ciencias Aplicadas (SEAS) de la Universidad de Harvard profundizaron en los LM para comprender sus principales problemas en entornos de alto riesgo. Su prueba: “Battleship”, un clásico juego de adivinanzas que ha ayudado a los científicos cognitivos a estudiar cómo los humanos buscan información.
Los académicos de CSAIL y SEAS agregaron un giro al replantear el juego en torno a hacer y responder preguntas en lenguaje natural. En su juego “Collaborative Battleship”, un participante es un “capitán” que pregunta dónde están los barcos ocultos, mientras que su compañero de equipo hace de “observador” respondiendo esas preguntas en tiempo real.
Primero, los investigadores hicieron que más de 40 humanos jugaran juntos, recopilando sus preguntas y respuestas de sí o no para construir el conjunto de datos “BattleshipQA”. Estos resultados fueron un punto de comparación útil cuando el equipo probó LM de última generación (como GPT-5) y modelos más pequeños (como Llama 4 Scout) en su juego. Sin entrenar los modelos de antemano, descubrieron que los mejores LM pueden “vencer” a los humanos en “Battleship” (es decir, completar el juego en menos turnos), pero los sistemas más pequeños son mucho menos racionales.
El problema principal fue que muchos modelos simplemente no son expertos en plantear preguntas útiles. Para lograr que los LM investigaran de manera que revelaran más información sobre barcos ocultos, los investigadores le dieron a cada modelo una estrategia de inferencia de Monte Carlo, que mide cuidadosamente la probabilidad de que diferentes opciones sean correctas con cada respuesta. El resultado: modelos de IA que pueden vencer a los jugadores habituales en “Battleship”, independientemente de su escala.
Quizás los resultados más sorprendentes fueron los avances de Llama 4 Scout. Como LM relativamente pequeño, sólo vence a los humanos el 8 por ciento de las veces. Pero con mejoras en su estrategia de inferencia, el modelo alcanzó una tasa de victoria de “Acorazado” del 82 por ciento frente a los humanos. Este estilo cuidadoso y eficiente de hacer preguntas también permitió que el modelo superara a un modelo de frontera (GPT-5), mientras operaba a alrededor del 1 por ciento de su costo.
Además de esta mejora, los investigadores redujeron la brecha entre humanos y LM a la hora de responder preguntas. Si bien GPT-5 era un observador confiable que ayudaba a los modelos a terminar los juegos más rápido, los sistemas más pequeños tenían la mala costumbre de dar respuestas incorrectas sobre dónde estaban escondidas las naves. Los modelos vieron un aumento de precisión del 15 por ciento en promedio cuando comenzaron a convertir preguntas en código que les dice explícitamente cómo verificar sus respuestas (por ejemplo, hacer que el modelo ejecute una búsqueda rápida de un área cuando se les pregunta si hay un barco allí).
“Los modelos de lenguaje actuales están optimizados principalmente para responder consultas complejas, pero no está tan claro si aprenden a hacer buenas preguntas por sí mismos”, dice el estudiante de doctorado del MIT e investigador de CSAIL Gabriel Grand SM ’23, autor principal de un artículo sobre el trabajo. “Nuestro trabajo muestra que hacer preguntas informativas depende de la capacidad de predecir y simular el mundo. Descubrimos que cuando damos a los agentes acceso a un ‘modelo mundial’, hacen mejores preguntas y hacen descubrimientos de manera más eficiente”.
Un cambio radical para los LM
El primer objetivo del equipo fue lograr que los LM hicieran mejores preguntas. Al implementar estrategias de inferencia de Monte Carlo, los LM razonan sobre posibles conjeturas como partículas individuales. Los que parecen más válidos con cada respuesta del observador tendrían más peso, algo así como pelotas de juego que se inflan o desinflan en cada turno. Con este enfoque más calculado y adaptativo, el capitán podía realizar consultas que extraían mucha más información del observador.
Luego, los científicos recurrieron al lenguaje de programación Python, ampliamente utilizado, para ayudar a los observadores de IA. Cada pregunta que hacía el capitán se convertía automáticamente en una orden codificada. Por ejemplo, una pregunta como: “¿Hay un barco en la columna uno que abarca dos filas?” se convierte en instrucciones para que el observador LM busque el área en cuestión y evalúe el ancho de la pieza del juego digital. Al darle al modelo instrucciones claras en un idioma que comprende particularmente bien, cada sistema dio respuestas correctas con mucha más frecuencia. Por ejemplo, el sistema ligero GPT-4o-mini experimentó un aumento de rendimiento de casi el 30 por ciento, e incluso el modelo grande Claude 4 Opus saltó unos ocho puntos.
“Este campo ha tenido mucho éxito gracias a las estrategias de ‘autoformalización’, en las que los LM generan código para verificar sus soluciones”, dice el autor principal Jacob Andreas, profesor asociado de ingeniería eléctrica y ciencias de la computación del MIT e investigador principal de CSAIL. “Lo que encuentro más interesante de este trabajo es que abre la posibilidad de utilizar estas técnicas para generar mejores soluciones en primer lugar, mejorando las capacidades de exploración y recopilación de información de los LM. Estamos entusiasmados de ampliar este trabajo desde dominios científicos a aplicaciones como la codificación y la resolución de problemas matemáticos”.
juguemos a otra cosa
Pero, ¿cómo funcionaría este enfoque en otros juegos de mesa? El equipo probó sus LM recién equipados en “¿Adivina quién?”, donde modelos grandes y pequeños redujeron hábilmente 100 opciones para adivinar correctamente qué personaje oculto había sido elegido. Llama 4 Scout tuvo éxito el 30 por ciento de las veces, pero después de los ajustes de Grand y sus colegas, completó la tarea en más del 72 por ciento de sus ejecuciones. Mientras tanto, GPT-4o saltó del 62 por ciento al 90 por ciento. GPT-5 fue el observador en cada juego para garantizar que las preguntas se respondieran con la mayor precisión posible.
Si bien los LM han logrado avances prometedores en ambos juegos, hay margen de mejora. Por ejemplo, los modelos todavía tienen dificultades para responder preguntas complejas, en comparación con los humanos. Valerio Pepe, investigador de OpenAI, recién graduado de Harvard y coautor, añade que “GPT-5 puede vencer al jugador promedio de ‘Battleship’ y mejora un poco con nuestros métodos. Sin embargo, los jugadores expertos siguen siendo difíciles de vencer en todos los modelos, a diferencia del ajedrez, donde ni siquiera los mejores jugadores tienen éxito contra los sistemas de IA”.
Los hallazgos de los investigadores muestran que los agentes de IA tienen un potencial sin explotar en el descubrimiento de “una aguja en un pajar”: navegar por un enorme espacio de opciones para encontrar una solución poco común a los desafíos científicos. Si bien una mejor capacidad de búsqueda de información los convertiría en excelentes asistentes de investigación para, por ejemplo, identificar la estructura molecular de un compuesto, los investigadores advierten que el “Acorazado colaborativo” es un banco de pruebas algo simple. Les gustaría probar los LM en entornos más complejos, donde los sistemas tienen que considerar muchas más opciones.
Grand también planea que humanos y modelos de inteligencia artificial colaboren para estudiar si funcionan mejor juntos. Los modelos también podrían beneficiarse de un poco de ajuste en las simulaciones de juegos, y con más potencia informática, los LM tendrían capacidades de inferencia más avanzadas para predecir cómo evolucionará un juego.
“A medida que los sistemas de IA se vuelven más agentes, los problemas más difíciles resultan ser sociales: rastrear puntos en común, resolver malentendidos y adaptarse a diferentes socios con el tiempo”, dice Robert Hawkins, profesor asistente de lingüística en la Universidad de Stanford, que no participó en el artículo. “Este trabajo captura elegantemente estos fenómenos en un entorno colaborativo controlado y presenta un argumento convincente de que el verdadero cuello de botella para los agentes de IA no es sólo el cálculo de las preguntas óptimas, sino el razonamiento pragmático necesario para aprovechar al máximo sus respuestas”.
Grand y Pepe escribieron el artículo con dos investigadores principales de CSAIL: el profesor asociado del MIT Jacob Andreas y el profesor del MIT Joshua Tenenbaum. Su trabajo fue apoyado, en parte, por MIT Siegel Family Quest for Intelligence, MIT-IBM Watson AI Lab, la iniciativa FinTechAI@CSAIL, una beca de investigación Sloan, Intel, la Oficina de Investigación Científica de la Fuerza Aérea, la Agencia de Proyectos de Investigación Avanzada de Defensa, la Oficina de Investigación Naval y la Fundación Nacional de Ciencias. Presentaron su artículo como presentación oral en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) en abril.