Demuestran que solo se necesita un PC de hace 27 años con 128 MB de RAM para ejecutar un potente modelo de IA: la magia de BitNet

Hay quien pueda pensar que el entrenamiento y crecimiento de los modelos extensos de estilo que alimentan las herramientas de inteligencia químico generativa necesiten de ordenadores y equipos de gran potencia para cumplir con su tarea. Esto, desde luego, es así, pero un equipo de investigadores ha demostrado lo contrario.

Desde EXO Labs, ordenamiento formada por investigadores e ingenieros de la Universidad de Oxford, han demostrado cómo un ordenador con Windows 98 ha ejecutado un potente maniquí de estilo. El PC en cuestión contaba con un Pentium II de CPU y una memoria de 128 MB de RAM.

BitNet, una cimentación pensada para 'democratizar el comunicación a la IA'

El vídeo publicado en X demuestra cómo estos investigadores se las han ingeniado para ejecutar un maniquí de estilo en esta estafermo de PC. El equipo disponía de un Elonex Pentium II con una frecuencia de 350 MHz y Windows 98 como sistema operante. La tarea que se le había encomendado al PC fue la de ejecutar un maniquí basado en Vehemencia 2.

Haz clic en la imagen para ir a la publicación

El maniquí estaba basado en el código de Llama2.c de Andrej Karpathy, uno de los científicos de datos más influyentes e innovadores que ha trabajado en empresas tales como OpenAI o Tesla. Contra todo pronóstico, el PC logró ejecutar este maniquí de estilo y producir una historia sorprendentemente coherente, todo a una velocidad en realidad prudente para ser un maniquí de estilo ejecutándose en almacén en dicha máquina.

Si correctamente el ritmo ya era un duelo conveniente ancho en esta situación, otro obstáculo que el equipo tuvo que exceder fue el de conseguir que el código actual pudiese reunir y funcionara en un sistema operante de 1998. Con el tiempo, lograron que el rendimiento fuese de unos 39,31 tokens por segundo ejecutando un maniquí basado en Vehemencia 2 con en torno a de 260.000 parámetros.

Sin bloqueo, al aumentar el tamaño del maniquí, el rendimiento se vio afectado significativamente. Por ejemplo, según cuentan desde TechSpot, el maniquí Vehemencia 3.2 con 1.000 millones de parámetros casi nada alcanzó 0,0093 tokens por segundo en el antiguo equipo.

El motivo de este cuestionario no es más que conseguir que modelos de estilo extensos como el de Vehemencia 2 puedan ejecutarse en dispositivos tan modestos como el PC mencionado. De esta guisa, EXO Labs exploración ‘democratizar el comunicación a la IA’, y evitar así que este tipo de herramientas solo estén a disposición de tan solo un puñado de gigantes tecnológicos.

Este congregación está sumergido en la creación de BitNet, una disruptiva cimentación que utiliza sistemas ternarios para resumir drásticamente el tamaño del maniquí. Según el equipo, con esta cimentación, un maniquí de 7.000 millones de parámetros solo necesitaría 1,38 GB de almacenamiento, poco factible para su ejecución en la mayoría de equipos modestos.

BitNet ha sido desarrollado para su funcionamiento en CPUs, eliminando la falta de lograr tarjetas gráficas con precios desorbitados para su cometido. Y lo que es más sorprendente: esta cimentación puede disfrutar hasta modelos de 100.000 millones de parámetros en una sola CPU manteniendo velocidades de recitación humanas de entre 5 y 7 tokens por segundo.

Imagen de portada | Alex Cheema

En Genbeta | Meta entrenó a su chatbot usando libros con copyright sacados de una web de descargas. Y todo con el conocido bueno de Zuckerberg