este nuevo test acaba de demostrar que no es así. Nosotros tampoco lo somos

Las matemáticas avanzadas son un contorno complicado porque no sólo requieren cálculo o reglas, sino todavía pensamiento sensato preciso y creativo. Por otra parte, los problemas matemáticos suelen requerir de una comprensión profunda del contexto, poco que las IA actuales no logran dominar.

Por eso, los actuales modelos de IA (como GPT-4) son muy buenos generando código, textos e imágenes, pero cuando se negociación de chocar problemas matemáticos que vayan más allá de lo sustancial, por requerir de razonamiento innovador, la prometedora inteligencia industrial naufraga suficiente rápido.

Por qué FrontierMath es un desafío tan importante

Sí, es cierto: ya existen pruebas como GSM/8K, en las que las IA logran puntuaciones superiores al 90%, pero muchas veces la secreto radica en que los resuelven meramente por tener practicado ayer con problemas similares (un solo caso de 'contaminación de datos').

Ahora, un nuevo e renovador punto de narración, FrontierMath, está exponiendo lo acullá que está la IA a la hora de estar en condiciones de suplir a los matemáticos.

Esta prueba fue diseñada por Epoch AI con el objetivo específico de exponer estas limitaciones. Los problemas no se parecen a ningún conjunto de datos de entrenamiento existente y requieren razonamiento profundo, no memorización.

Por otra parte, las respuestas suelen ser complejas y no pueden adivinarse. Esto evita que las IA utilicen atajos, como el agradecimiento de patrones superficiales, y obliga a demostrar una comprensión matemática genuina.

Por todo esto, incluso los modelos más avanzados, como GPT-4o y Gemini 1.5 Pro, tan sólo han sido capaces de resolver menos del 2% de los problemas usados para dar forma a FrontierMath.

Matemáticos de renombre, como Terence Tao y Timothy Gowers, han agradecido que los problemas son mucho más complicados que los de competencias internacionales como la Olimpíada Matemática. Matthew Barnett, un avezado en IA, definió así la importancia de FrontierMat:

"Lo primero que hay que entender sobre FrontierMath es que es verdaderamente muy difícil. Casi todo el mundo en la Tierra obtendría una puntuación de aproximadamente el 0%, incluso si se les diera un día completo para resolver cada problema. Afirmo que, una vez que FrontierMath esté completamente resuelto, los humanos compartiremos esta Tierra con mentes artificiales que serán tan inteligentes como nosotros".

Limitaciones actuales de la IA frente a las matemáticas

1. Error de razonamiento estructurado: Las IA procesan datos de modo listado y están entrenadas para identificar patrones en grandes cantidades de información. Sin bloqueo, los problemas matemáticos muchas veces requieren conexiones lógicas que no siguen un patrón obvio.
2. Dependencia de datos previos: Los modelos de IA como GPT-4o han sido entrenados con grandes cantidades de información, pero esta incluye ejemplos específicos que pueden no universalizar perfectamente. Si los problemas son nuevos, como los de FrontierMath, no pueden necesitar de lo que ya han "gastado".
3. Dificultades con cadenas largas de razonamiento: Resolver un problema matemático suele implicar múltiples pasos que deben ser correctos. Los modelos actuales suelen cometer errores en pasos intermedios, lo que invalida el resultado final.
4. Creatividad limitada: Muchos problemas matemáticos avanzados requieren soluciones innovadoras, no solo repetir procesos conocidos. Aunque las IA son buenas imitando patrones, tienen dificultades para encontrar enfoques verdaderamente nuevos.

El camino en dirección a la progreso

Para que las IA mejoren en matemáticas, será necesario que desarrollen capacidades avanzadas de razonamiento sensato y percepción. Esto podría incluir:

• Integrar modelos especializados: Combinar herramientas específicas de matemáticas con modelos de lengua podría ayudar a manejar mejor ciertos problemas.
• Cultivarse de feedback: Diseñar IA que puedan cultivarse de errores en tiempo actual para ajustar sus estrategias.
• Maduro comprensión del contexto: Entrenar modelos para interpretar el significado profundo detrás de los problemas, en oficio de necesitar solo de patrones.

Vía | VentureBeat

Imagen | Marcos Merino mediante IA

En Genbeta | “No son lo suficiente inteligentes”: un profesor de matemáticas comparte un truco infalible para pillar deberes hechos con IA