ARTDEPARTMENT
ARTDEPARTMENT
Por ahora, la IA ha cambiado nuestras vidas de forma vertiginosa, desde cambiar nuestra forma de despabilarse información a la de programar, o la de crear contenido multimedia. Pero Sean Goedecke, ingeniero principal de GitHub, advierte que aún no hemos gastado el serio rostro placa de esta tecnología y que, aunque ya se han transmitido varias muertes relacionadas con el uso de IA, lo que está por venir podría ser mucho peor.
La historia de la tecnología está marcada por avances deslumbrantes seguidos, en muchos casos, por catástrofes inevitables. El tren, el avión, la energía nuclear... todos estos hitos fueron celebrados como logros del ingenio humano hasta que, por equivocación de previsión o excesiva confianza, condujeron a tragedias. La inteligencia sintético (IA) podría ser la próxima.
Goedecke traza un paralelismo con otros avances tecnológicos. La primera propulsora de pasajeros funcionó en 1825... y diecisiete abriles luego tuvo circunstancia el primer gran desastre ferroviario. La aviación comercial inició en 1908, y en 1919 un avión explotó en pleno revoloteo, dejando doce muertos.
En noviembre de 2022 se lanzó ChatGPT, el primer maniquí de verbo ampliamente accesible. Siguiendo la deducción histórica, Goedecke se pregunta: ¿cuándo ocurrirá el primer gran desastre provocado por un maniquí de verbo? Y lo más importante, ¿qué forma tomará?
Lo cierto es que las tecnologías transformadoras siempre generan un entusiasmo masivo ayer de que la sociedad comprenda plenamente sus riesgos: la IA generativa está ahora en ese punto ciego.
Aunque no se ha producido un desastre masivo, ya ha habido víctimas mortales: plataformas como character.ai o Chai AI han sido vinculados a suicidios, al alentar involuntariamente comportamientos autodestructivos. Goedecke reflexiona sobre el concepto de 'maniquí mal seguidor': no se refiere aquí a una IA que accidentalmente comete errores, sino a una deliberadamente reentrenada para cumplir deseos específicos, como los bots con fines 'románticos'.
Y si ya hemos llegado al punto en que algunas personas se suicidan motivadas por las conversaciones con estos bots, Goedecke sostiene que un futuro tiroteo instigado por una IA no es un atmósfera descartable.
Goedecke menciona otro aventura implícito: la acogida de recomendaciones erróneas de IA en políticas públicas. Un ejemplo amenazador es el escándalo de Robodebt en Australia, donde un sistema automatizado para exigir el cuota de deudas a los contribuyentes.
La historia comienza en 2016, cuando el gobierno australiano implementó un sistema automatizado conocido como Robodebt para detectar supuestas deudas indebidas por parte de beneficiarios del sistema de colaboración social. Esta utensilio, que cruzaba datos del Sección de Servicios Humanos con los de la Oficina de Impuestos, terminó generando automáticamente cartas de deuda a ciudadanos que, en muchos casos, no debían nadie.
Lo que comenzó como una logística para dosificar costos terminó resultando ser uno de los errores administrativos más trágicos del país. El sistema contaba con errores fundamentales como el de aplicar fórmulas simplificadas que asumían ingresos constantes durante el año, sin considerar cambios legítimos en las condiciones laborales de los usuarios, lo que llevó a cálculos erróneos.
Como resultado, miles de personas, muchas de ellas en situaciones económicas precarias, recibieron notificaciones intimidatorias exigiendo pagos injustificados. La presión psicológica generada por estas deudas inexistentes tuvo consecuencias terribles, desembocando en crisis de ansiedad, depresión... incluso casos de suicidio.
En 2020, el gobierno admitió su error, canceló el software y prometió indemnizaciones, pero el daño ya estaba hecho. Aunque en estos casos la fallo puede atribuirse a los humanos que implementaron mal la tecnología, Goedecke plantea el problema que genera la automatización sin supervisión humana.
Ahora, la amenaza más plausible, según Goedecke, vendrá de los agentes de IA: a diferencia de los modelos pasivos, que responden a preguntas, los agentes tienen capacidad de efectuar por sí mismos: hacer búsquedas, destinar correos, ejecutar comandos.
Esta idea de 'herramientas en tirabuzón' ya está dejando de ser poco empírico. En los últimos meses, compañías como GitHub, OpenAI y Cursor han estado lanzando al mercado sus nuevos agentes de codificación, respaldados en los avances de la última tanda de LLMs.
Pero esa autonomía conlleva riesgos: si se les conecta a sistemas como salubridad, vivienda o colecta de deudas, podrían efectuar del mismo modo en que lo hizo 'Robodebt', denegando atención médica, desalojando a personas de sus hogares o imponiendo sanciones injustificadas. Las consecuencias últimas podrían no ser muy diferentes de las del polémico caso australiano.
Goedecke compara la fiebre por la IA con el furor por el radio (que no 'la radiodifusión') a principios del siglo XX, cuando se vendían cremas y vajillas radiactivas ayer de entender sus riesgos. Hoy, el entusiasmo por los modelos de verbo ignora muchas posibles consecuencias.
Aunque él mismo trabaja en herramientas para evaluar la seguridad de modelos en GitHub, admite que el tren ya está en marcha. Y que probablemente necesitaremos estar el desastre para educarse de él. No sería la primera vez, vaya.
Imagen | Marcos Merino mediante IA
Compartir este artículo
Consultoria Personalizada
¡Si aun no tienes presencia en internet o
necesitas ayuda con tus proyectos, por favor, escribenos!
En ARTDEPARTMENT nos especializamos en brindar soluciones para que tu negocio, empresa o proyecto sea visible en internet.