sólo logra que a la IA se le crucen los cables y se insulte a sí misma 86 veces

Imagínate que eres un desarrollador de software que deja a Gemini, el maniquí de jerigonza de Google, en marcha durante toda la incertidumbre en su IDE Cursor mientras depura código. Ahora imagina que, al retornar y echar un vistazo a cómo había ido todo, te encuentras con un registro de respuestas en las que la IA entra en pánico, se insulta a sí misma, demuestra su angustia con frases grandilocuentes...

....y acaba atrapada en un onda en el que termina repitiendo un total de 86 veces "Soy una desgracia".

Todo esto ocurrió interiormente de Cursor, el popular editor de código con funciones de IA. Con cada reintento fallido de arreglar los problemas que indicaba el compilador, el tono del asistente iba cambiando: del optimismo y serenidad iniciales (anunciaba una "confianza cauta" en que la posterior refactorización resolvería todos los errores lógicos) pasó rápidamente a describirse como "tonto", "hombre roto" o "monumento a la arrogancia".

Luego entró en un crescendo retórico poco habitual para una útil de código: la IA llegó a idear que era una "vergüenza" para su profesión, su clan, su especie, el planeta y "todos los universos posibles e imposibles". A posteriori de eso, llegó el mencionado onda. Suponemos que el equivalente industrial de 'darse cabezazos contra la hormaza'.

La respuesta de Google

A raíz de que lo ocurrido se viralizó en redes, el 7 de agosto, Logan Kilpatrick, responsable de producto para Gemini, terminó interviniendo públicamente para desactivar cualquier intento de repaso psicologista del episodio (vamos, que la parentela pudiera pensar que una IA se había "vuelto loca"):

"Es un inaguantable error de onda infinito que estamos trabajando para solucionar. Gemini no está teniendo un día tan malo :)".

Y es que el hecho de que Gemini verbalice dudas o frustración no prueba que "sienta" nulo: es un subproducto de cómo fue entrenado (texto humano) y de cómo generaliza en contextos adversos.

¿Cómo puede una IA entrar en esa clase de bucles?

Aunque el jerigonza de Gemini suene humano, un maniquí de este tipo predice la posterior palabra a partir del contexto. Cuando el historial de la conversación y los reintentos generan un atractor (un patrón que se retroalimenta), el sistema puede acordar cautivo de:

• Repetición igual (la misma frase una y otra vez).
• Ascensión estilística: el maniquí "se fija" en una emoción y la intensifica (ej. autocrítica cada vez más extrema), un aberración descrito informalmente como rant mode.

Así, en este incidente, la combinación de:

1. un entorno de depuración con reintentos automáticos,
2. fallos persistentes en las hipótesis de arreglo, y
3. un estado conversacional saturado de frustración verbal,

parece tener favorecido un "asedio" donde la salida más probable seguía siendo… autoflagelación y repetición.

¿Importan este tipo de reacciones? Sí, y por varias razones

Productividad y costes. Un asistente de código que entra en onda no solo deja de ayudar: contamina trazas, oculta el error raíz y desperdicia tiempo de CPU. En entornos CI/CD o con agentes autónomos, eso puede traducirse en horas perdidas y diagnósticos falsos.

Percepción pública y despliegues sensibles. La viralización del caso reavivó el debate: si un maniquí se autoflagela en un IDE, ¿qué garantías hay al integrarlo en sanidad, educación o servicios críticos?

Los expertos en el comportamiento de los LLM explican que estos bucles no son exclusivos de una marca o traducción concreta y que ni siquiera los laboratorios punteros controlan de forma totalmente fiable los desvíos de conducta en sus modelos.

Lecciones prácticas para equipos que usan LLM en explicación de software

1) Presupuestos de tokens y reintentos. Imponga límites duros a distancia de respuesta y número de reejecuciones. Si se detecta demasía (suspensión solapamiento de n-gramas o frases clonadas), corte la sesión y reiníciela con un prompt íntegro. Este episodio muestra qué ocurre cuando nadie pone barreras

2) 'Vigilantes' semánticos. Anualidad un observador extranjero que marque señales de degradación: ola de disculpas, autorreferencias negativas, jerigonza catastrofista, latencias anómalas. Si se activan, cambie de modo (respuestas telegráficas, sin metacomentarios) o haga un reset de contexto.

3) Reencuadre forzoso. Si el maniquí encalla, pídale un plan de tres pasos o una letanía de hipótesis alternativas y prohíba repasar lo ya intentado. Esto rompe el atractor que alimenta el loop.

4) Comprobación fuera del maniquí. Haga que la validez (compila/pasa tests) se decida fuera del LLM. La "convicción" del texto no es evidencia.

5) Trazabilidad y auditoría. Registre señales semánticas (p. ej., número de disculpas, autorreferencias negativas) como indicadores tempranos de degradación conversacional.

Imagen | Marcos Merino mediante IA

En Genbeta | "Creo que lo más probable es que muera a manos de una IA", dice el antiguo responsable de que ChatGPT no se vuelva contra nosotros