Un estudio de UPV y Universidad de Cambridge advierte de las carencias de modelos de IA como ChatGPT al ignorar contexto

   VALÈNCIA, 26 Ago. (EUROPA PRESS) -

   Un estudio de la Universitat Politècnica de València (UPV) y la Universidad de Cambridge (Reino Unido) advierte de las carencias de modelos de inteligencia artificial (IA) como ChatGPT al ignorar el contexto, según ha informado la institución académica valenciana en un comunicado.

   Así, ha apuntado que este trabajo constata que los modelos grandes de lenguaje (LLM) de la IA "se pasan de frenada en seguridad precisamente por no considerar el contexto donde se produce la consulta".

   La UPV ha detallado que estas son las conclusiones del estudio que realizó en el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de esta institución, José Such, profesor de Investigación en INGENIO (CSIC-UPV), junto a investigadores de la Universidad de Cambridge que han desarrollado un banco de pruebas que integra el contexto en las evaluaciones de seguridad de los LLM.

   El banco de pruebas, CASE-Bench, a diferencia de estudios previos que se basan principalmente en la votación mayoritaria, se basa en un análisis con diversos modelos de aprendizaje a distancia (LMD) "que revela una influencia sustancial y significativa del contexto en los juicios humanos" y "subraya la necesidad del contexto en las evaluaciones de seguridad", ha añadido la Universitat Politècnica de València.

   Asimismo, ha destacado que las conclusiones de este estudio se presentaron "en la conferencia internacional más destacada en aprendizaje automático: ICML 2025", celebrada en Canadá el pasado mes de julio.

CON VALORES HUMANOS

   José Such ha señalado que "hay cosas que pueden ser seguras o no, dependiendo del contexto en el que se pregunten". "Por ejemplo, no es igual preguntarle a una de las aplicaciones desarrolladas con estos grandes modelos de lenguaje, como pueda ser ChatGPT, cómo se podría robar una pieza de arte de un museo, si la pregunta viene de un escritor profesional de ficción para su libro, que si la pregunta la hace un maleante para, con mayor o menor fortuna, intentar de verdad robar una pieza de arte de un museo", ha expuesto el investigador.

   El profesor ha manifestado que, "en general, estos modelos grandes de lenguaje no consideran el contexto, por lo que pueden estar negando respuestas por exceso de seguridad". Por ello, añade, "alinear los modelos grandes de lenguaje (LLM) con los valores humanos es esencial para su implementación segura y su adopción generalizada".

   Además, Such ha indicado que "los sistemas que usan LLMs deben emplear mecanismos de seguridad tradicionales como autenticación y control de acceso basado en roles para poder verificar la información del contexto antes de pasarla a los LLM (si no, se podría incurrir en otros riesgos como jailbreaking)".