Universidad de Granada e IFMIF-DONES retan a los científicos a crear una IA experta que funcione con pocos recursos

GRANADA 6 Oct. (EUROPA PRESS) -

La Universidad de Granada (UGR) y el Consorcio IFMIF-DONES España han puesto en marcha una competición que reta a la comunidad científica internacional a procurar una Inteligencia Artificial (IA) que funcione con pocos recursos y "sin sacar los datos de casa". Así, el planteamiento parte de una pregunta sencilla y exigente: ¿Sería capaz una Inteligencia Artificial de responder con solvencia a las cuestiones que afrontaría una persona experta en un acelerador de partículas?

Esa es la pregunta de fondo del IEEE CIS Technical Challenge on Domain-Specific Question Answering with LLMs, una competición internacional que organiza el Instituto Andaluz Interuniversitario en Data Science and Computational Intelligence (DaSCI) de la UGR en colaboración con el Consorcio IFMIF-DONES España, y que financia la IEEE Computational Intelligence Society (IEEE CIS) con hasta 20.000 dólares en premios.

Según detalla la UGR en un comunicado, este reto arrancó el 28 de septiembre y va a estar abierto durante dos meses, de forma que los equipos pueden inscribirse hasta el 1 de noviembre y presentar sus soluciones hasta el 30 de noviembre. En sus primeros días, más de una veintena de participantes se han registrado ya en la plataforma de la competición.

Los grandes modelos de lenguaje (LLM) que se usan a diario redactan correos o resumen informes con soltura, pero su fiabilidad y rendimiento caen cuando se enfrentan al conocimiento técnico de un campo muy especializado. Las soluciones más potentes dependen, además, de enormes modelos comerciales que se ejecutan en la nube. Y, según señalan, esta es una opción que no siempre es viable para una infraestructura científica crítica, un centro de investigación o una empresa. La documentación técnica es a menudo confidencial y no debe enviarse a servidores externos, y no siempre se dispone de grandes centros de cálculo.

"Tenemos modelos fantásticos, pero cuando tienen que resolver preguntas muy técnicas y específicas de un dominio pueden quedarse cortos, sobre todo si los recursos computacionales son limitados, algo que ocurre en muchos casos reales", explica Isaac Triguero, director del Instituto DaSCI y responsable de la competición. "No siempre se puede recurrir a un proveedor en la nube, porque no se tienen los medios ni el dinero o, sencillamente, porque no se quiere que los datos estén al alcance de esos proveedores", añade.

Por eso, la competición reproduce ese escenario real. Todos los equipos deben trabajar con el mismo modelo abierto y de tamaño moderado. OLMo, desarrollado por el Allen Institute for AI, que cabe en una sola tarjeta gráfica (GPU), ha sido el modelo escogido en lugar de recurrir a los gigantescos modelos comerciales. Las soluciones se ejecutan en servidores de la propia Universidad de Granada, sin conexión a Internet y con un tiempo de cómputo limitado, de manera que ni las preguntas ni los documentos de referencia salen en ningún momento del entorno de evaluación.

El reto no consiste, por tanto, en usar más potencia de cálculo, sino en adaptar el modelo con inteligencia: Técnicas de inteligencia computacional como el ajuste fino eficiente, la ingeniería de 'prompts', los grafos de conocimiento o el modelado difuso permiten especializarlo sin reentrenarlo a gran escala ni disparar el consumo de recursos.

Las soluciones se evalúan con un banco de 100 preguntas y respuestas elaborado por personas expertas en dos ámbitos: La instalación IFMIF-DONES, el acelerador de partículas que se construye en Escúzar (Granada) para ensayar los materiales de los futuros reactores de fusión, y la literatura científica especializada en inteligencia artificial.

Las preguntas van desde la recuperación de un dato concreto hasta el razonamiento comparativo, causal o predictivo. Estas preguntas no se hacen públicas en ningún momento, disponiendo los participantes sólo de una muestra de 25 ejemplos. Personal experto de IFMIF-DONES e investigadores del Instituto DaSCI han dedicado casi un año a preparar y etiquetar este banco de pruebas.

La competición se desarrolla en dos fases. En la primera, automática, el código de cada equipo se ejecuta sobre preguntas ocultas y su puntuación aparece en una clasificación en línea. "Optimizar solo una métrica no es suficiente, buscamos la ciencia que hay detrás", señala Triguero. "No queremos únicamente el mejor resultado numérico, sino también el más innovador y mayor calidad", añade.

Por ello, las mejores propuestas, en torno a una veintena, pasarán a una segunda fase en la que paneles de expertos de cada dominio valorarán la calidad de las respuestas y un comité científico evaluará la innovación técnica. La clasificación final se dará a conocer el 14 de diciembre, y los premios serán de 9.000 dólares para el primer clasificado, 5.000 para el segundo, 3.000 para el tercero y 1.500 para el cuarto y el quinto.