el 'padrino de la IA' habla claro sobre una técnica que están usando OpenAI y otras grandes del sector

Geoffrey Hinton, ganador del Premio Nobel en 2024 y uno de los padres fundadores del 'deep learning', almohadilla de la presente IA, lleva varias décadas siendo una de las voces más influyentes en este campo de la tecnología. Pero desde su salida de Google en 2023, ha asumido un nuevo rol: el de portavoz crítico de los riesgos existenciales que plantea la IA.

En una fresco charla (disponible en YouTube) Hinton expresó con claridad su incredulidad frente a algunas de las técnicas más utilizadas hoy para "alinear" sistemas de IA con títulos humanos. Entre ellas, la conocida como RLHF ocupa un espacio central en su crítica.

¿Qué es el RLHF?

El RLHF (siglas de 'Reinforcement Learning from Human Feedback', o 'aprendizaje por refuerzo a partir de feedback humana') es una técnica mediante la cual se entrena un maniquí de habla (como, por ejemplo, GPT-4o) no solo con datos de texto en crudo, sino además mediante la intervención humana.

Para ello, los usuarios evalúan respuestas generadas por el maniquí, eligen las mejores, y esas preferencias se utilizan para ajustar el comportamiento del maniquí mediante algoritmos de educación por refuerzo.

El objetivo de RLHF no es sólo conquistar que las respuestas de la IA sean efectos o coherentes, sino además 'sintonizarlas' con los 'títulos humanos', evitando que terminen siendo tóxicas, sesgadas o peligrosas.

El RLHF es "una capa de pintura"

Allí de compartir el entusiasmo de muchos ingenieros sobre la efectividad del RLHF, Hinton fue tajante: considera esta técnica como una alternativa cosmética para un problema congruo más profundo. Según él mismo explica:

"Es como si tuvieras un coche antiguo y oxidado, ahíto de agujeros, y lo intentaras entregar dándole una mano de pintura. Eso es el RLHF".

Y es que, desde su punto de pinta, el RLHF no resuelve los fallos estructurales del sistema de IA, sino que se limita a ajustar el comportamiento extranjero del maniquí sin modificar sus verdaderas motivaciones internas o su comprensión del mundo. Y, por lo tanto, sería trivial revertir o 'disolver' ese barniz en determinadas condiciones.

Según Hinton, fiarse en técnicas como RLHF para mitigar los riesgos de modelos avanzados equivale a poner "los dedos para tapar cada agujero de una presa a punto de romperse". Y esto es especialmente preocupante si consideramos que estos sistemas, en opinión del propio Hinton, están ya en camino de exceder a los humanos en muchos aspectos cognitivos.

Ya le vemos las orejas al lobo

Hinton reconoce que sus opiniones sobre la capacidad de la IA han cambiado radicalmente en los últimos primaveras: en 2018, aún pensaba que una inteligencia sintético universal (AGI) estaba aún muy allí. Ya no es así. Y por eso la considera tan peligrosa.

Aunque Hinton no se considera un avezado en seguridad de IA, ha decidido usar su reputación para advertir sobre lo que percibe como peligros reales de la misma, más allá del discurso simplista de que "sólo son loros estocásticos".

Una de las ideas más provocadoras de la charla es su afirmación de que no conocemos ejemplos, ileso el caso de un bebé con su religiosa, en los que una entidad menos inteligente controle a una más inteligente. Por eso, Hinton considera poco posible que los humanos puedan controlar a superinteligencias futuras, ileso con garantías estructurales muy robustas, que aún no sabemos cómo construir.

Hinton además fue escéptico frente a la idea de usar sistemas actuales para investigar y resolver los problemas de alineamiento o seguridad: hay un conflicto de interés estructural al permitir que una tecnología se convierta en su propio árbitro ético y regulador.

¿Cómo despabilarse una seguridad estructural?

La crítica de fondo que Hinton plantea al RLHF está relacionada con la desatiendo de garantías formales. A diferencia del mejora tradicional de software, donde se diseñan sistemas con propiedades comprobables, el enfoque presente —basado en redes neuronales entrenadas masivamente y luego ajustadas con RLHF— no ofrece pruebas ni seguridades sobre lo que el maniquí positivamente "quiere" o podría hacer en situaciones nuevas.

Este punto se conecta con otra de sus preocupaciones: la desarrollo no supervisada de múltiples inteligencias artificiales, que compitan por medios. Si una IA llega a desear tener más réplicas para ser más efectiva, entonces podrían surgir dinámicas evolutivas autónomas, fuera del control humano.

Para Hinton, la alternativa más obvia sería frenar el mejora de IA destacamento... pero reconoce que eso es poco realista, conveniente a la competencia entre países y a los enormes beneficios que ofrece la IA en campos como la medicina o la educación.

Aun así, sugiere medidas concretas como prohibir la publicación de los 'pesos' de los LLMs (los títulos numéricos que determinan cómo se procesan los datos de entrada), ya que eso facilita su uso por cibercriminales.

Imagen | Fotomontaje (Collision Conf + Marcos Merino mediante IA)

En Genbeta | "La IA nos matará a todos", afirma uno de los mayores expertos del mundo. No firmó la carta de Elon Musk porque se queda muy corta