ARTDEPARTMENT
ARTDEPARTMENT
Durante más de cuarenta abriles, el notorio se ha ido mentalizando de que el software puede decidir, y de que esos fallos —los temidos bugs— pueden tener consecuencias concretas (y graves) en el mundo verdadero: desde un cajero automotriz que se bloquea hasta un avión que debe aterrizar de emergencia por un error de código, todos hemos asumido que el software es frágil.
Pero incluso hemos aprendido otra cosa: que los errores se corrigen, y que si poco sale mal, se revisa el código, se pica un parche y el sistema vuelve a funcionar. Es una idea tranquilizadora, y ratificada por la experiencia. Sin bloqueo, trasladar esas certezas al nuevo 'software' de moda, la inteligencia sintético, resultaría un tremendo error.
Al menos, así lo advierte el desarrollador Boyd Kane en su blog, donde plantea una parecer incómoda: que tratar a la IA como si fuera software tradicional es una prescripción para el desastre.
"Cuando todo empieza a salir mal [con la IA], no podemos 'parchear el bug' y ya está".
El autor incluso apunta a un problema de comunicación: los expertos en IA, familiarizados con la complejidad de estos sistemas, tienden a dar por hecho que esa diferencia es obvia. Pero para el notorio normal —y eso incluye a muchos directivos o políticos— la IA sigue siendo un "software progresista" más:
"Los expertos no explican la diferencia porque la dan por evidente, y los novatos no la perciben porque no saben que existe".
Desde fuera, un maniquí de IA parece funcionar igual que cualquier aplicación: se ejecuta en un servidor, replica a órdenes, entrega resultados. Pero por interiormente, su dialéctica es radicalmente distinta.
Un software convencional sigue reglas explícitas escritas por humanos. Cada cuerda de código cumple una función clara, y los errores pueden rastrearse. Si una app se cierra inesperadamente, un ingeniero puede revisar el código y demarcar la causa exacta.
En cambio, un maniquí de idioma como ChatGPT o Claude no opera con reglas, sino con patrones entrenados a partir de enormes cantidades de datos. Su 'código' no contiene las instrucciones de su comportamiento, sino una red de pesos numéricos que reflejan correlaciones estadísticas entre millones de ejemplos.
"En el software tradicional, los errores provienen del código; en la IA, los errores provienen de los datos". Y eso cambia todo.
El contraste es tan sobresaliente que la terminología habitual deja incluso de ser aplicable. En un software clásico, un 'bug' es poco localizable: se puede señalar una cuerda mal escrita o una condición mal formulada, etc.
En una IA, el decisión puede esconderse en cientos de gigabytes de datos de entrenamiento, o sencillamente en la forma en que esos datos se combinaron para producir un maniquí. Nadie, ni siquiera los propios creadores, puede analizar o comprender íntegramente lo que el sistema "ha aprendido".
Para ponerlo en perspectiva: uno de los conjuntos de datos más usados hoy, FineWeb, contiene unos 11 billones de palabras. Si una persona intentara leerlo a razón de 250 palabras por minuto, tardaría más de 85.000 abriles. En ese océano de información, encontrar la causa de un error es como apañarse una manilla en un planeta de paja.
En el mundo del software, corregir un error suele ser definitivo: una vez parcheado, no vuelve a aparecer. Pero en la IA eso no funciona así. Claro, si un maniquí replica de guisa errónea, los ingenieros pueden ajustar los datos, añadir ejemplos, o retornar a entrenarlo.
Sin bloqueo, no hay garantías de que el decisión haya desaparecido, solo que no se repite bajo las condiciones de prueba. Puede alcanzar una ligera variación en el mensaje de entrada —una palabra más, una coma menos— para que el error resurja.
La propia naturaleza de la IA, probabilística y sensible a matices, hace irrealizable respaldar comportamientos estables en todos los contextos:
"Podemos mitigar errores, pero no eliminarlos".
En el progreso de software tradicional, todo empieza con un documento de requisitos: qué debe hacer el software, cómo debe comportarse, qué límites debe respetar. Y, ileso imprevistos, los ingenieros pueden diseñar un sistema que cumpla esas condiciones.
En la IA, eso es irrealizable. Los modelos no se diseñan para cumplir reglas predefinidas, sino que aprenden a imitar comportamientos humanos observando ejemplos. Sus capacidades emergen de guisa impredecible, a veces incluso para sus propios creadores.
Ejemplos sobran: modelos que aprenden a escribir poesía sin ocurrir sido entrenados para ello, o que muestran habilidades lógicas que sorprenden a los investigadores. Lo que parece un avance directo incluso puede esconder un aventura inesperado:
"Si una IA puede desarrollar habilidades que nadie programó, incluso podría desarrollar comportamientos que nadie desea".
Parte de la confusión viene de una creencia arraigada: la idea de que siempre habrá un diestro capaz de arreglar cualquier decisión: si un software defecto, cierto "en el laboratorio" encontrará la alternativa. Pero, como señala Kane, los errores de la IA no son errores de programación, sino fallos emergentes en un maniquí que nadie entiende completamente.
Eso significa que, si las cosas se tuercen con la IA, no bastará con 'instalar el parche'.
Imagen | Marcos Merino mediante IA
En Genbeta | Uno de los hombres que más ha hecho por la inteligencia sintético ya no puede adormilarse: esto teme de la IA, tras dejar Google
Compartir este artículo
Consultoria Personalizada
¡Si aun no tienes presencia en internet o
necesitas ayuda con tus proyectos, por favor, escribenos!
En ARTDEPARTMENT nos especializamos en brindar soluciones para que tu negocio, empresa o proyecto sea visible en internet.