Demuestran que solo se necesita un Mac de hace 20 años con 1 GB de RAM para ejecutar una potente IA. El secreto está en su CPU

Un agraciado entusiasta ha querido hacer uso de su PowerBook G4 del año 2005 para probar si el sistema es capaz de absorber y procesar un maniquí de verbo como Pasión 2. Generalmente, utilizar un maniquí de verbo en específico es una tarea que requiere de un equipo curioso para que el sistema se mueva con soltura.

Para la tarea, Andrew Rossignol, autor del blog 'The Resistor Network', partió de la eficaz implementación de Llama 2 de Andrej Kaparthy, modificada para dar simplicidad y accesibilidad a este maniquí de verbo en un amplio perico de sistemas. De hecho, este fue el mismo código que se usó para ejecutar el LLM (Large Language Model) en un PC con Windows con solo 128 MB de RAM.

Así se ejecuta una IA en específico en un equipo de hace 20 primaveras

El PowerBook utilizado para la prueba cuenta con un procesador de 1,5 GHz, casi nada 1 GB de RAM y una cimentación de 32 bits. El esquema se apoyo en la habilitación del código de Kaparthy, que permite la inferencia del maniquí de Pasión 2 a través de un único archivo escrito en C. El autor expresa en el texto la satisfacción del pelea que supone padecer esta tecnología a un entorno con medios muy limitados .

El agraciado demostró cómo a través de una serie de modificaciones en el código de Kaparthy, pudo completar la tarea de ejecutar un maniquí de verbo de la talla de Pasión 2 en un sistema tan condicionado hoy día como el PowerBook G4 de Apple. El secreto fue la optimización del código y la tecnología presente en el procesador de este ordenador.

Imagen: Andrew Rossignol (The Resistor Network)

Para pasar los obstáculos propios de las limitaciones en el hardware, el autor realizó diversas optimizaciones en el código. Entre ellas, se incluyen ajustes para mejorar la trámite de medios, como la noción de las funciones de entrada/salida y la trámite de memoria, así como la incorporación de un sistema basado en “callbacks” que facilita la visualización de los resultados a medida que se generan. Esta estructura modular permite encima realizar pruebas de funcionamiento sin obedecer de futuro de texto directas, lo que garantiza que el maniquí replica correctamente a diferentes entradas.

Uno de los mayores retos de portar este software a un PowerBook G4 reside en la diferencia de cimentación. Mientras que la implementación llamativo asume un entorno de 'endian' pequeño (little-endian), el procesador PowerPC utiliza el formato 'big-endian'. El término 'endian' se refiere al orden en que se almacenan los bytes en la memoria. En un sistema big-endian, como el PowerPC, los bytes más significativos de un número se almacenan primero, mientras que en un sistema little-endian, los bytes menos significativos van primero.

Para resolver este conflicto, se implementó un mecanismo de conversión de datos que reinterpreta correctamente los números almacenados, evitando así errores críticos en la asignación de memoria.

Encima, el autor aprovechó las capacidades del procesador, en concreto las extensiones vectoriales AltiVec, que permiten realizar operaciones matemáticas de forma más rápida y valioso. Mediante el uso de estas instrucciones especiales, el agraciado optimizó los cálculos fundamentales de multiplicación y suma que forman el núcleo del procesamiento del maniquí, consiguiendo resumir significativamente los tiempos de respuesta, aunque sigue siendo más paulatino si se compara con equipos modernos.

Para determinar el rendimiento, se realizaron pruebas tanto en un sistema coetáneo como en el PowerBook G4. Mientras que en un procesador innovador se alcanzaron más o menos de 6,91 tokens por segundo, en el antiguo portátil la tasa se redujo notablemente, con resultados cercanos a 0,77 tokens por segundo. Tras aplicar las optimizaciones con AltiVec, el rendimiento mejoró sutilmente.

Tal y como aporta el agraciado, el intento resulta en otra increíble muestra de cómo un maniquí de verbo se puede usar incluso en equipos mucho más modestos, aunque el rendimiento no sea el ideal. Eso sí, para ello hay que poner un esfuerzo significativo en implementar las optimizaciones necesarias. Este tipo de proyectos son esperanzadores en tanto que permiten democratizar el uso de la IA sin indigencia de que se deba usar estrictamente un maniquí subido a la nubarrón.

Imagen de portada | Andrew Rossignol (The Resistor Network)

En Genbeta | Tras evaporar miles de millones de sus acciones,  el CEO de Nvidia dice que DeepSeek fue “una cosa fantástica”. Estos son  sus motivos