ARTDEPARTMENT
ARTDEPARTMENT
Los 'modelos transformer', desarrollados en su momento por la división de investigación de Google, han sido la edificación esencia en el ámbito de la inteligencia industrial en los últimos abriles en múltiples campos, desde la gestación de texto (todos los chatbots actuales se basan en ellos) hasta el exploración de imágenes.
Sin confiscación, su desempeño se ve circunscrito cuando se prostitución de manejar contextos de larga duración. En respuesta a este desafío, Google ha vuelto a innovar presentando un 'paper' académico que detalla las características de una nueva edificación de IA (denominada 'titans') que la forma en que los modelos de IA gestionan la memoria y procesan información en contextos extremadamente largos.
Esta investigación promete redefinir los límites de lo que las máquinas serían capaces de formarse y rememorar, marcando un nuevo hito en la proceso de los sistemas de educación profundo.
'Sgroogled.com': cuando MICROSOFT lanzaba anuncios ANTI-GOOGLE
Los Transformers enfrentan una seto inherente: su capacidad para manejar ventanas contextuales largas está restringida por el coste exponencial de la memoria. Esto dificulta tareas como el razonamiento en contextos extensos (como cuando tienen que tener en cuenta el contenido completo de documentos extensos), la síntesis de datos históricos y aplicaciones que requieren una memoria más robusta, como el modelado genómico o el exploración de series temporales.
Titans aborda esta seto de su predecesor al incorporar un módulo de memoria neuronal de abundante plazo que permite al maniquí formarse a memorizar durante la prueba y combinar eficientemente información fresco con datos históricos.
Dicho módulo combina tres tipos de memoria inspirados en el funcionamiento del cerebro humano:
Esta edificación permite a los modelos 'titans' desempolvar su memoria durante la inferencia, poco que los 'transformers' tradicionales no pueden conseguir. Este enfoque dinámico mejoramiento la propagación y la comprensión contextual en tiempo existente.
Para 'adaptarse' durante la inferencia, los modelos basados en esta edificación utilizan un mecanismo basado en el concepto de "sorpresa", que prioriza qué memorias conservar o desechar según la relevancia de los datos entrantes. Este método de "olvido adaptativo" asegura una eficiencia óptima y una capacidad de memoria más inteligente.
Por otra parte, el funcionamiento de su memoria permite al mecanismo de atención atreverse cuándo usar ésta y cuándo enfocarse en el contexto inmediato.
La innovación esencia: al integrar una memoria de abundante plazo que aprende de forma activa durante la prueba, la edificación emula un proceso cognitivo humano fundamental... la capacidad de rememorar y olvidar selectivamente.
Esto no solo abre nuevas posibilidades en áreas como la educación automatizada y el diseño de asistentes virtuales más inteligentes, sino que además sienta las bases para sistemas de IA que puedan adaptarse a entornos cambiantes y administrar conocimientos de forma sostenible.
En una serie de pruebas rigurosas, 'titans' demostró ser más eficaz que los transformers tradicionales y modelos recurrentes modernos en tareas como modelado de habla, razonamiento de sentido global, y exploración de series temporales.
En un examen de 'manilla en un pajar', donde el maniquí debe encontrar información relevante en textos largos, 'titans' superó a modelos como GPT-4 y LlaMa en eficiencia y precisión.
Por otra parte, se observó que su capacidad para administrar contextos de más de dos millones de tokens representó una superioridad crucial en aplicaciones complejas como el exploración genómico.
Si adecuadamente es temprano para decidir a 'titans' como el sucesor definitivo de los 'transformers', sus innovaciones en memoria y adaptabilidad marcan un hito en la proceso de la inteligencia industrial.
A medida que más investigadores implementen y optimicen este enfoque, es posible que estemos presenciando el inicio de una nueva era en la IA, donde los modelos no solo procesan información, sino que además la recuerdan y aprenden de ella.
Por otra parte, aunque Titans representa un avance monumental, además pone sobre la mesa algunos problemas significativos. Por ejemplo: su entrenamiento y optimización requerirán capital computacionales avanzados, y la complejidad de su diseño podría dificultar su admisión generalizada en aplicaciones con menos capital. Todo ello podría no hacer sino agravar la contemporáneo problemática incipiente de disconformidad entre IAs para ricos y pobres.
Imagen |
En Genbeta | Debemos pensar seriamente en poder 'desconectar' la IA cuando llegue a este punto, según el ex CEO de Google
Compartir este artículo
Consultoria Personalizada
¡Si aun no tienes presencia en internet o
necesitas ayuda con tus proyectos, por favor, escribenos!
En ARTDEPARTMENT nos especializamos en brindar soluciones para que tu negocio, empresa o proyecto sea visible en internet.