La evolución de la IA generativa ha estancado, según uno de los creadores de ChatGPT: 'más' ya no es necesariamente 'mejor'

La inteligencia químico (IA) ha sido uno de los grandes avances tecnológicos de los últimos abriles, pero el maniquí de exposición que ha impulsado sus aplicaciones más famosas (como GPT4 o MidJourney) parece activo sofocado sus límites de crecimiento...

...por lo que los investigadores científicos y compañías del sector están buscando alternativas al enfoque tradicional de 'subir' modelos, mientras enfrentan problemas de eficiencia, costos y resultados decrecientes.

Las limitaciones de subir

Por "subir", en el ámbito de los modelos de IA, nos referimos a mejorar su rendimiento aumentando su tamaño y capacidad mediante el uso de más datos y de maduro potencia computacional y parámetros, poco que pasa por entrenar redes neuronales más grandes y complejas utilizando cantidades masivas de posibles computacionales.

Pero la formación de estos modelos masivos no sólo es costosa (puede pasar las decenas de millones de dólares por "ciclo de entrenamiento") sino asimismo incierta, pues los investigadores no pueden predecir si el resultado justificará la inversión hasta que el proceso finalice, lo cual puede durar meses.

En cualquier caso, a medida que los modelos se hacen más grandes, la tendencia normal es que los costos de entrenamiento, la penuria de datos de incorporación calidad y los desafíos técnicos aumentan de guisa desproporcionada... mientras que la rentabilidad de dicho esfuerzo se reduce progresivamente.

La idea de que la presente IA generativa ha apurado un "tapia" que limitará su crecimiento no es nueva, pero ha vacada peso recientemente: según Garrison Lovely, analista del sector, los modelos más recientes, como Orion de OpenAI o la nueva lectura de Gemini de Google, escasamente muestran avances comparados con sus predecesores.

Entre las causas de este aberración destaca el agotamiento de datos de incorporación calidad disponibles para entrenamiento. A medida que los modelos actuales ya han consumido la mayoría de las fuentes de datos accesibles, se recurre a datos sintéticos, lo que puede suscitar redundancias y amojonar el enseñanza efectivo.

Encima, el enfoque tradicional de predicción de la "sucesivo palabra" parece tener límites intrínsecos para capturar tareas más complejas, como el razonamiento deductivo o la resolución de problemas a dispendioso plazo.

Buscando alternativas

Una de las grandes mentes de la IA que respalda este punto de presencia es Ilya Sutskever, cofundador de OpenAI y ahora líder de su propia startup Safe Superintelligence (SSI), si admisiblemente

"la división de 2010 fue la era del escalado, ahora estamos de nuevo en una era de 'asombro y descubrimiento': todo el mundo está buscando el sucesivo paso".

Y, de hecho, la industria ya ha empezado a explorar enfoques alternativos. Uno de los más prometedores es el llamado "test-time compute", que permite que los modelos piensen de guisa más humana al evaluar múltiples respuestas antaño de lanzarse la mejor. Este enfoque, utilizado por el maniquí o1 de OpenAI, redefine cómo los modelos de IA enfrentan tareas complejas.

Por ejemplo, en motivo de dar una respuesta inmediata, o1 puede analizar diversos caminos posibles para resolver un problema y designar el más adecuado, poco similar al razonamiento humano. Según Noam Brown, investigador de OpenAI, esta técnica puede alcanzar mejoras significativas sin penuria de subir masivamente los posibles.

En el contexto del póker, por ejemplo, un maniquí que "piensa" durante 20 segundos en cada mano puede obtener resultados equivalentes a un maniquí entrenado 100.000 veces más.

El impacto sobre la industria de la IA

El cambio de dechado asimismo podría alterar el mercado de hardware para IA. Hasta ahora, la demanda ha estado dominada por los chips de entrenamiento, un dominio donde Nvidia ha mantenido un dominio indiscutido.

Sin confiscación, el nuevo enfoque en dirección a la inferencia podría rajar el mercado a nuevos competidores, ya que los modelos ahora se centrarán en optimizar su rendimiento durante el uso positivo, en motivo de en su entrenamiento original.

Imagen | Marcos Merino mediante IA

En Genbeta | Linus Torvalds dice que la IA es en un 90% marketing, y todavía no le ve un uso claro

(function() {
window._JS_MODULES = window._JS_MODULES || {};
var headElement = document.getElementsByTagName('head')[0];
if (_JS_MODULES.instagram) {
var instagramScript = document.createElement('script');
instagramScript.src="https://platform.instagram.com/en_US/embeds.js";
instagramScript.async = true;
instagramScript.defer = true;
headElement.appendChild(instagramScript);
}
})();

-
La notificación

La cambio de la IA generativa ha estancado, según uno de los creadores de ChatGPT: 'más' ya no es necesariamente 'mejor'

fue publicada originalmente en

Genbeta

por
Marcos Merino

.

Source link