Reversionaron el clásico juego de hundir barcos para analizar cómo buscamos información y replicar esas particularidades en los modelos de lenguaje que usan los chatbots.
Los modelos de lenguaje masivo, que son las grandes bases de conocimiento con las que funcionan los chatbots de inteligencia artificial ahora en auge, son especialmente eficientes para tareas definidas. Por contrapartida, su destreza retrocede en entornos más inciertos en los que, no obstante, pretende incursionar, por ejemplo el ámbito científico.
Con el propósito de mejorar el desempeño de esos modelos también en mundos inciertos, investigadores del Instituto Tecnológico de Massachusetts y de la Universidad de Harvard unieron fuerzas para llevar a cabo un experimento singular. ¿Qué hicieron? Pusieron a prueba a una IA, pidiéndole que juegue a la batalla naval, el clásico entretenimiento en el que hay que hundir los barcos que el oponente esconde en su planilla.
“Mejoramos a la IA en un entorno incierto”
En el caso de que algún desprevenido no sepa de qué va la batalla naval, una explicación breve a continuación. El juego comienza cuando los jugadores agregan en una cuadrilla un número determinado de barcos, por ejemplo en A1, B4, C7, etcétera. Sin tener esa información a la vista, los rivales deben arriesgar coordenadas, como si arrojasen bombazos de cañón, y cada acierto implica el hundimiento de una embarcación. El desafío es derribarlas todas, antes que cualquier otro en la disputa.
Los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT, junto a integrantes de la Escuela de Ingeniería y Ciencias Aplicadas (SEAS) de Harvard tomaron a ese juego clásico para analizar cómo los humanos buscan información y tomar aprendizajes para replicarlos en la IA.
En este caso, reversionaron la batalla naval tradicional para transformarla en un juego colaborativo y conversacional, recopilando sus preguntas y respuestas. En un primer examen, encontraron que los modelos más grandes y de última generación —como GPT-5 de OpenAI— pueden vencer a los humanos, pero que los más pequeños son “menos racionales”.
El problema principal es que muchos modelos no son capaces de formular preguntas útiles. Para esto, asignaron a cada variante una estrategia de inferencia que mide con detenimiento la probabilidad de acierto y, con este ardid, consiguieron que las diversas IAs, incluso las más pequeñas, salgan victoriosas en este juego.
Con esta técnica, uno de esos modelos de pequeña escala, Llama-4-Scout, pasó de un 8% de victorias frente a humanos al 82%.
“Los modelos de lenguaje actuales están optimizados principalmente para responder consultas complejas, pero no está tan claro si aprenden a formular buenas preguntas por sí mismos”, comentó Gabriel Grand, investigador del CSAIL y autor principal de un artículo sobre este experimento.
“Nuestro trabajo demuestra que formular preguntas informativas depende de la capacidad de predecir y simular el mundo. Descubrimos que cuando les damos a los agentes acceso a un ‘modelo del mundo’, formulan mejores preguntas y realizan descubrimientos con mayor eficiencia en entornos inciertos”, agregó.
El potencial de la IA para encontrar una aguja en un pajar
“Lo que me parece más emocionante de este trabajo es que abre la posibilidad de utilizar estar técnicas para generar mejores soluciones desde el principio”, señaló por su parte Jacob Andreas, profesor de Ingeniería Eléctrica e Informática del MIT y coautor del estudio.
Una de las pruebas paralelas consistió en la generación de líneas de código para verificar las soluciones. “Nos entusiasma extender este trabajo desde los ámbitos científicos a aplicaciones como la programación y la resolución de problemas matemáticos”, añadió Andreas.
El equipo del MIT CSAIL y SEAS también realizó pruebas con otros juegos de mesa, entre ellos el Quién es Quién, en el que hay que adivinar un personaje entre 100 opciones, basándose en preguntas, respuestas y descartes. En este caso, con la misma técnica, Llama-4-Scout pasó de una tasa de éxito del 30% al 72%; mientras que GPT-4o saltó del 62% al 90%.
Valerio Pepe, investigador de OpenAI, graduado de Harvard y coautor del estudio, dio cuenta de algunas salvedades. “GPT-5 puede vencer a un jugador promedio de batalla naval, y mejora ligeramente con nuestros métodos. Sin embargo, los jugadores expertos siguen siendo difíciles de vencer para todos los modelos, a diferencia del ajedrez, donde incluso los mejores jugadores no logran vencer a los sistemas de IA”, explicó.
Según se indica en un repaso publicado por el MIT, estos hallazgos demuestran que los agentes de IA tienen un potencial inexplorado en el descubrimiento de una aguja en un pajar, es decir para “navegar por un vasto espacio de opciones para encontrar una solución excepcional a desafíos científicos”.
De cara al futuro, prevén poner a prueba a los modelos en escenarios aún más complejos que los juegos mencionados, donde entren en consideración muchas más variables además de barcos en una planilla.
