el resultado sigue siendo pésimo

Dos de los modelos de IA más relevantes en este momento, Copilot y ChatGPT, se han enfrentado a un desafío que parecía que iba a ser sencillo: una partida contra 'Video Chess' en la Atari 2600, un equipo de 1979 que ocupaba tan solo 4 KB. El resultado fue una humillante derrota, para sorpresa de muchos.

Esta historia ha sido compartida en Linkedin por el ingeniero Citrix Caruso que ya el mes pasado nos mostraba una prueba similar sólo con ChatGPT. Ahora parece que le ha querido dar una segunda oportunidad. Y es que a pesar de que la IA más moderna pueda tener mucha complejidad a sus espaldas, así como una gran capacidad para procesar el lengua, puede ser superado por un oponente de hace 50 abriles.

El desafío: crónica de un fracaso en dos actos

Este desafío comenzó cuando en una conversación con ChatGPT, el chabot de OpenAI se jactó de ser un "componente cachas por derecho propio y fácilmente superaría al Video Chess de Atari. Caruso, intrigado, decidió poner a prueba esta afirmación y usó un émulo de Atari para ejecutar el equipo de ajedrez. Y aquí comenzó la partida.

El resultado fue decepcionante. Durante un combate de 90 minutos en el nivel principiante, ChatGPT no solo confundió las piezas, sino que perdió constantemente la conocimiento de cómo estaban las fichas en el tablero. La derrota fue preciso, como ya había ocurrido en el pasado.

Acullá de rendirse, Caruso pensó: "Imaginemos la capital de todos explotando si un producto de Microsoft supera a ChatGPT'. Así que decidió repetir el investigación con Copilot. La IA de Microsoft igualmente se mostró confiada, asegurando que, a diferencia de su rival, si podía realizar un seguimiento del tablero. La verdad fue muy diferente. Caruso le pidió que renderizara el tablero tal y como lo 'imaginaba' y la imagen no coincidía con la partida positivo.

La modernización de Copilot fue más vergonzosa que con ChatGPT. Según Caruso:

"En el séptimo turno, había perdido dos peones, un heroína y un alfil —a cambio de un solo peón— y ahora me estaba ordenando que colocara su reina ajustado frente a la reina de Atari para ser capturada en el ulterior turno"

Este tipo de experimentos, aunque anecdóticos, es una poderosa metáfora de la situación presente de la inteligencia sintético. Mientras las grandes tecnológicas nos bombardean con parte sobre cómo la IA va a reemplazar a los programadores en un futuro, la verdad es muy diferente. No es capaz de pasar a una 'IA' de hace casi 50 abriles.

Cuando se les pone a prueba en tareas que requieren método abstracta y memoria persistente, estos sistemas fallan estrepitosamente. Tanto Copilot como ChatGPT no "piensan" ni "aprenden" de una forma significativa. En esencia, son sistemas avanzados para predecir la ulterior palabra que mostrar o el píxel que suscitar en una imagen. Pero cuando se acento de comprender reglas y un contexto y llevarlo durante un buen rato, parece que todo cae por su propio peso.

De esta forma... si la IA no es capaz de distinguir una torre de un alfil en un equipo de 8 bits, ¿por qué deberíamos confiarle nuestra información personal o que tome decisiones de lo que hacemos? Sin duda esta puede ser una prueba muy buena que se puede malquistar los futuros modelos para conocer cómo se comportan.

Imágenes | JESHOOTS.COM Felix Mittermeier

Vía | Windows Central

En Genbeta | Algún ha convertido esta plataforma de ajedrez online en su Google Drive graciosamente particular de la forma más ingeniosa. Porque sí