La mayoría de los modelos generativos tienen problemas con este pedido. ¿Cómo se explica que sistemas tan avanzados tropiecen con una tarea aparentemente sencilla?
La Inteligencia Artificial Generativa es, sin dudas, una de las grandes revoluciones tecnológicas de esta era. Un grupo de chatbots que están al alcance de cualquier persona con acceso a Internet se ocupan de tareas complejas, incluso creativas, en un abrir y cerrar de ojos.
¿Un problema matemático? No es un rompedero de cabeza para la IA. ¿Inventar un poema? Lo hacen en segundos. ¿Organizar el itinerario completo de un viaje? Es pan comido para estos sistemas. Pueden, incluso, programar código de softwares, comparar el contenido de diferentes páginas web, generar videos y emular voces, entre otros superpoderes.
Pero los modelos automatizados, incluso los más avanzados, también fallan en tareas a priori sencillísimas. Hay un caso que grafica esa torpeza: la IA no sabe la hora. Es como un chico que no aprendió a leer los relojes con aguja.
La Inteligencia Artificial no sabe leer la hora: hicimos la prueba
El sitio AI World Clocks revela esta inesperada torpeza de la IA contemporánea, que al momento de leer la hora no es precisamente inteligente. En rigor, los problemas se le presentan cuando debe representar un reloj con agujas.
No importa qué modelo usemos: todos tropiezan con la misma piedra. Hicimos la prueba: pedimos a las IAs más conocidas que generen una imagen que muestre un reloj con las agujas marcando las 22:22 horas. ChatGPT de OpenAI, Gemini de Google y Grok de xAI fallaron calamitosamente.
El mencionado sitio web no solo revela la incapacidad de los modelos de lenguaje masivo (LLM, por sus siglas en inglés) para representar la hora en imágenes creadas con sus sistemas de generación. También muestra relojes con las agujas que sobresalen de la esfera e incluso ejes imposibles en el mundo real, cuando se les pide un código HTML/CSS.
¿Por qué la IA no puede representar la hora en relojes con agujas?
Hicimos la prueba inversa y ChatGPT no fue tan errático. Es decir, sabe leer la hora, pero no “escribirla”. Subimos una imagen en el chatbot y le preguntamos qué marca el reloj. En este caso, la respuesta fue la correcta.
Ahora bien, ¿por qué los modelos de IA, tan avanzados, fallan en la representación de algo que nos parece tan simple? Siendo que estamos frente a bots conversacionales, es una buena idea hacerles la pregunta en forma directa.
ChatGPT nos respondió relajadísimo y con tono argento: “Buenísima observación. Sí: es un fail. Pediste 22:22 y el reloj salió con la clásica posición 10:10. Te cuento por qué pasa esto, sin chamuyo”, apareció escrito en el chat. Luego, repasó posibles razones.
Primero, culpó a su propio generador de imágenes. “No soy yo, es mi primo”, se excusó ChatGPT. Con eso, señaló que el modelo de texto recibe una instrucción, que luego pasa a otro modelo, el encargado de generar dibujos o fotos. En ese camino, se perdería la precisión. “El modelo de imágenes no está diseñado para cumplir restricciones exactas, sino para algo que parezca correcto en términos generales”, respondió.
Más adelante, agregó otras excusas o, si queremos ser menos crueles con la máquina, algunas de las razones que explican su yerro.
- El sesgo de las 10:10: Para desprevenidos, los relojes de las publicidades aparecen con ese horario, tal como vemos en el Rolex, más arriba. Hay una razón: con las agujas en esa posición, la marca del producto es visible y queda “enmarcada”. Siendo que la IA trabaja con los datos que recibió en su entrenamiento, no sorprende que repita esa ubicación y, por ende, se equivoque.
- “Nadie me enseñó a leer la hora”: Sorprendente, pero es otra de las excusas de ChatGPT. “El modelo no sabe leer un reloj como lo haría un humano. En cambio, dibuja algo que se vea como ‘un reloj razonable’”, explicó. En ese sentido, señaló que para no errar en estos pedidos necesitaría muchas imágenes de relojes etiquetadas con la hora exacta.
- Los modelos de IA eligen lo plausible por sobre lo exacto: Esto ya lo hemos visto, por ejemplo en muchos de los textos que vemos en las imágenes generadas con IA. Si bien han mejorado en las actualizaciones, aún encontramos errores. Para un espectador poco atento, hay verosimilitud; pero en esos casos no se promete precisión quirúrgica.
- Finalmente, el chatbot de OpenAI nos involucró en su falencia. No está mal: pidió que nos involucremos más. Para esto, compartió algunos consejos para que el prompt (la instrucción a la IA) sea más adecuado y útil si se pretenden mejores resultados.
Una de las ideas que propuso es indicarle a la máquina cuáles son los ángulos de las agujas, según la hora pretendida. Por ejemplo, “agujas apuntando al número 4, en una esfera de 12 horas”. Es decir, a pedidos más minuciosos, mayor tasa de éxito.
Los relojes no son el único punto débil de la Inteligencia Artificial
Los problemas de ChatGPT, Gemini y Grok para representar la hora en un reloj nos recuerdan a un aparente sinsentido de la robótica, conocido como la “paradoja de Moravec”. Aquel es un enunciado que refleja la grandísima capacidad de los autómatas para tareas complejas, como ganar partidas a campeones de ajedrez, y paralelamente la incompetencia de las máquinas para ciertas acciones que un nene de 5 años realiza sin esfuerzo, como sostener un objeto frágil sin que explote en mil pedazos.
Lo cierto es que los problemas de la IA con la hora no son los únicos que conocemos, de esa especie. Además de los textos rarísimos y de las manos que le cuesta dibujar; anteriormente revisamos otra de sus falencias: la dificultad de los generadores automatizados para distinguir la izquierda de la derecha.
Una vez más, las explicaciones giran en torno a los sesgos del entrenamiento. En otras palabras, si los datos que recibe la IA muestran una tendencia, entonces la replicará, más allá del pedido que se le haga. Cuando le consultamos a Google Gemini por qué no es ducho con esa tarea, el bot respondió: “Parece que mi sistema está priorizando la imagen ‘por defecto’ de una persona escribiendo, que suele ser con la mano derecha, a pesar de que la instrucción pide explícitamente la izquierda”.
Desbalance de datos: un remedio para las fallas y un problema para las excepciones
“Esto se debe al entrenamiento”, observó en diálogo con TN Tecno la especialista en robótica e Inteligencia Artificial, Marcela Riccillo. La profesora del Instituto Tecnológico de Buenos Aires señaló que las máquinas sacan conclusiones a partir de “las miles y miles de imágenes que le dan para analizar matemáticamente”. Así, si hay pocos ejemplos o ninguno, de algún tema, difícilmente lo aprenda.
La experta detalló un caso concreto. “Por ejemplo, le enseño a la máquina varias categorías de mariposas: 1.000 casos rojas, 1.000 casos azules, y 30 verdes. Difícilmente aprenda estas últimas y eso implica que luego nunca responderá verde, sino siempre rojo o azul. Eso es muy bueno para que los modelos de machine learning no aprendan errores (que es común que aparezcan en los datasets), pero es una contra en casos de desbalance”, observa.
Hay trucos para evitar el desbalance y eludir errores
Nuestras inquietudes acerca de las incapacidades de la avanzadísima IA no son exclusivas: otros han notado este problema en los generadores de imágenes. Incluso hay discusiones en foros de Reddit que tratan este asunto y en una de ellas, un comentarista propone un experimento que resuelve, al menos en parte, este inconveniente. Hay que pedirle a los modelos que creen una imagen en la que una persona sostiene una pelota azul en la mano derecha y una de color rojo en la izquierda.
El problema aquí es lo que se conoce como “desbalance de datos”. En los fallos de lateralidad, porque en la base de los modelos hay más imágenes de manos derechas. En el caso de la hora, porque, por ejemplo, abundan las fotos de relojes que marcan las 10 y 10.
Riccillo notó que existen algunos métodos para solucionar el desbalance de datos. En su ejemplo de las mariposas, habría que conseguir más imágenes de variedades verdes.
De no ser posible, podrían aplicarse las siguientes técnicas:
- Undersampling: Se trata de sacar un poco de datos de las otras categorías para que no haya tanta diferencia de cantidades.
- Oversampling: Consiste en duplicar datos o crear nuevos (en principio ficticios) para aumentar la cantidad de verdes, en el ejemplo.
- Boosting: Es un tipo de modelo de machine learning del tipo donde se crean muchos esquemas de decisión en secuencia, cada uno tratando de arreglar los errores de los anteriores.
