el del vaso del agua. Y es más importante de lo que parece

Coloca un vaso transparente delante de un dibujo (por ejemplo, una flecha) y observar cómo la imagen se distorsiona o incluso se invierte. Este huella ocurre porque la luz cambia de dirección al atravesar distintos medios (gracia, vidrio y agua): se proxenetismo del aberración conocido como 'refracción'.

Aunque para nosotros es un hecho diario, reproducirlo correctamente constituye un desafío considerable para una inteligencia industrial generativa de vídeo. No hilván con difundir un vaso estéticamente realista: el maniquí debe fingir la interacción precisa entre luz, materiales transparentes y objetos de fondo, manteniendo coherencia en cada fotograma.

Por eso, desde hace unos meses se somete a las nuevas IAs de coexistentes de vídeo al 'glass refraction test'. La nueva es que Sora 2, el maniquí de coexistentes de vídeo que OpenAI lanzó ayer, ha conseguido pasar esta prueba con resultados sorprendentes:

Pulsa para ver el vídeo

Esto ha generado entusiasmo entre investigadores y aficionados a la IA: no por el simple truco visual, sino por ser un indicador de que los modelos empiezan a capturar fenómenos físicos complejos del mundo actual (lo que ya prometía, y claramente incumplió, la primera interpretación de Sora).

¿Por qué es tan difícil para una IA?

A diferencia de un motor boceto de videojuegos, que incorpora tecnologías como ray tracing y simulaciones físicas explícitas, un maniquí generativo como Sora debe memorizar a partir de millones de videos y fotos. Lo que produce no se base en reglas físicas programadas, sino en meros patrones estadísticos.

Eso significa que:

1. Debe 'memorizar' la física sin que nadie se la enseñe directamente. No tiene ecuaciones de óptica en su interior; deduce que "cuando hay un vaso y un objeto detrás, suele encontrarse deformado de una determinada guisa".
2. Escasez de ejemplos en los datos. Aunque haya muchos vasos en los datasets, no es tan popular que los videos muestren explícitamente flechas invertidas o experimentos de refracción. El maniquí debe universalizar reglas, no memorizar.
3. Coherencia temporal. En vídeo, cada frame debe corresponder con el antedicho. Si alguno mueve el vaso, la deformación de la flecha debe actualizarse en tiempo actual. Una mínima inconsistencia se nota de inmediato.

Exceder este test implica que el maniquí no solo es capaz de difundir imágenes convincentes, sino que internaliza ciertas regularidades físicas del mundo actual.

La importancia simbólica del test

El 'glass refraction test' es casi un mini-benchmark casero. Se ha usado como "prueba del algodón" para evaluar hasta qué punto una IA es capaz de manejar situaciones donde la física se hace visible a simple paisaje. Y es que, si el agua no se curva correctamente en el interior del cristal, poco 'chirría' en el vídeo.

En ese sentido, este indagación se ha convertido en un símbolo de realismo físico en IA generativa. Que Sora 2 lo supere no significa que “entienda la óptica” en el sentido humano, pero sí que logra imitarla con un categoría de fidelidad muy suspensión.

Esto abre varias posibilidades, tanto en el campo de la producción audiovisual (mercancía visuales más realistas sin requisito de motores gráficos complejos) como de, por ejemplo, el entrenamiento de robots (vídeos sintéticos más fieles a la verdad podrían servir para entrenar agentes que interactúan con el mundo).

Otros 'sencillos' "tests de estrés" visuales para la IA

El vaso de agua no es el único duelo que se usa como medida de progreso. Existen varias categorías de pruebas que ponen contra las cuerdas a las inteligencias artificiales generativas:

1. Sombras realistas: Un objeto iluminado debe proyectar sombras coherentes en forma, dirección y difuminado, pero muchos modelos fallan creando sombras flotantes, mal orientadas o con bordes imposibles.
2. Espejos y reflejos: Los reflejos en superficies metálicas o acuáticas requieren consistencia geométrica. Un equivocación popular es que los espejos 'alucinen' escenas distintas a la actual.
3. Líquidos y derrames: Verter agua en un vaso, y que el claro siga la empeoramiento y adopte formas coherentes, es extremadamente difícil. Muchos modelos producen agua 'gelatinosa' o que argumenta a movimientos físicamente imposibles.
4. Física de objetos en movimiento: Un balón que rebota, una torre que se cae, piezas que colisionan... sin un maniquí físico interno, muchas IA producen trayectorias imposibles.

Estos retos se parecen a los benchmarks académicos de física intuitiva, como PIQA, IntPhys o PHYRE, que evalúan la capacidad de un sistema para razonar sobre el mundo actual.

Imagen | Marcos Merino mediante IA

En Genbeta | Pensábamos que la IA era muy buena en matemáticas: este nuevo test acaba de demostrar que no es así. Nosotros siquiera lo somos