Un equipo de investigadores de la Universitat Politècnica de València (UPV), en colaboración con el Royal Institute of Technology sueco (KTH), ha evaluado el rendimiento de diversos modelos de inteligencia artificial -en concreto, Modelos de Lenguaje de Gran Escala (LLMs)- en la resolución de problemas matemáticos en catalán. El estudio pone en evidencia las dificultades de los modelos desarrollados en Europa para competir con los líderes en inteligencia artificial (IA) a nivel global.

En su trabajo, han analizado el rendimiento de Gemini-1.5-flash (Google), GPT-3.5 Turbo y GPT-4o-mini (OpenAI), DeepSeek R1 y ALIA, el modelo español que se encuentra en desarrollo bajo la iniciativa del Plan Nacional de Tecnologías del Lenguaje y NextGeneration EU. El equipo de la UPV y el KTH utilizó para su estudio un conjunto de problemas matemáticos extraídos de las pruebas de la Competición Cangur, una versión en catalán del concurso internacional de matemáticas Kangaroo en la que participan

escolares de entre 12 y 17 años, reconocido por su capacidad para evaluar el razonamiento matemático en estudiantes de secundaria y bachillerato.

“En este caso los problemas están escritos en catalán, lo que permite analizar el funcionamiento de estos modelos en idiomas diferentes al inglés, como suele ser habitual”, apunta J. Alberto Conejero, investigador principal del estudio.

Resultados reveladores sobre la competitividad de la IA en Europa

Los investigadores evaluaron el rendimiento actual de ALIA, “un modelo de IA que se encuentra hoy en día en un punto intermedio de entrenamiento” explica J. Alberto Conejero. Y el estudio muestra un rendimiento considerablemente inferior al de otros modelos: alrededor de un 20% de acierto en la mayoría de pruebas.

Además, el estudio concluye que el modelo no logró generar explicaciones detalladas para sus respuestas, a diferencia de otros modelos como DeepSeek, que alcanzó hasta un 96% de precisión en la resolución de los problemas propuestos.

“La evaluación demuestra que los modelos abiertos pueden ser tan potentes como los modelos de IA de código cerrado en tareas específicas de razonamiento. Sin embargo, el rendimiento actual de ALIA resalta los desafíos a los que enfrenta Europa en el desarrollo de IA competitiva”, explica J. Alberto Conejero.

“Estamos viendo anuncios de inversiones enormes, como cuando hace unos días Francia anunció que destinará más de 100.000 millones de euros en IA. Sin embargo, a nivel nacional nos encontramos con dificultades para poder acceder a financiación, como sucedió con la convocatoria de 2023 que quedó sin ni siquiera resolver”, señala Sergio Hoyas, investigador de la UPV co-autor también del trabajo.

El estudio también sugiere que la inclusión de datos en catalán en el entrenamiento de ALIA no proporciona por ahora mejoras significativas en la resolución de problemas matemáticos en esta lengua. “Esto plantea interrogantes sobre la eficacia de los enfoques de entrenamiento multilingües en modelos de IA y su impacto real en la capacidad de razonamiento de los modelos”, añade Ricardo Vinuesa, del Royal Institute of Technology.

Implicaciones y futuro de la IA en Europa

A pesar de los esfuerzos por fortalecer la infraestructura de IA en Europa, el trabajo de los investigadores de la UPV y el KTH señala que el Viejo Continente tiene todavía por delante “importantes desafíos para cerrar la brecha con los gigantes tecnológicos de Estados Unidos y China. Los investigadores subrayan la necesidad de destilar el conocimiento de modelos de gran escala en versiones más eficientes y especializadas para aplicaciones concretas. La destilación es una técnica de entrenamiento en la que un modelo más pequeño y eficiente (como GPT-4o mini) se entrena para imitar el comportamiento y los conocimientos de un modelo más grande y complejo (como GPT-4o).

“Europa está avanzando en la regulación de la IA, pero si no impulsamos modelos competitivos con aplicaciones prácticas, corremos el riesgo de quedarnos rezagados en el desarrollo tecnológico”, concluye Ricardo Vinuesa, experto internacional en IA del KTH.

Referencia

L. Rhomrasi, Y. Ahsini, A. Igualde-Sáez et al., LLM performance on mathematical reasoning in Catalan language, Results in Engineering, 104366, doi: https://doi.org/10.1016/j.rineng.2025.104366