Un estudio alerta del riesgo de manipulación de chatbots "maliciosos" de IA generativa para revelar datos personales

   VALÈNCIA, 4 Jul. (EUROPA PRESS) -

   Investigadores del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) y del King's College London han demostrado en un estudio los riesgos que entrañan los chatbots generados con modelos de lenguaje de gran escala (LLMS) e IA generativa --como ChatGPT, Bard, Llama o Bing Chat-- por la "facilidad" para explotar los LLM para crear chatbots maliciosos con el objetivo de "manipular a las personas para que revelen información personal".

   El estudio se ha llevado a cabo por el investigador de VRAIN y Catedrático de la UPV, José Such, el colaborador de VRAIN de la UPV, Juan Carlos Carillo, y del King's College London, Dr Xiao Zhan y Dr William Seymour, según ha indicado la institución académica valenciana en un comunicado.

   A través de la realización de un ensayo aleatorio y controlado con 502 participantes, el estudio pone de manifiesto que "las IAs conversacionales utilizadas de forma maliciosa extraen significativamente más información personal que las IAs conversacionales benignas".

   Esto es debido a la facilidad con la que se pueden explotar los LLM para crear chatbots maliciosos con el objetivo de manipular a las personas para que revelen información personal, y los pocos conocimientos técnicos que se necesitan para lograrlo.

   Bajo el título 'Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal', el artículo presentará sus conclusiones en el 34 Simposio de Seguridad Usenix (Usenix Security Symposium), que se celebrará del 13 al 15 de agosto en Seattle (EE.UU).

   En él, se subrayan las amenazas a la privacidad que plantea este nuevo tipo de chatbots maliciosos basados en LLM y se ofrecen recomendaciones prácticas para orientar la investigación y prácticas futuras.

   El investigador principal de VRAIN de la UPV, José Such, ha explicado que se han metido "entre la interfaz del chatbot y el LLM que hay detrás, explotando las capacidades de los LLM de manera maliciosa, demostrando que con diferentes estrategias se puede conseguir que el LLM converse con el usuario de manera que lo engañe y lo manipule".

   "Es interesante ver que con algunas estrategias, los usuarios se dan cuenta de que el chatbot está haciendo cosas raras y preguntando cuestiones extrañas, pero con las estrategias que explotan la naturaleza social de las conversaciones, no se dan cuenta, le siguen la conversación de forma natural, y pueden llegar a revelar información muy sensible", ha alertado.

   Con los resultados de este estudio, ha agregado, se demuestra que un chatbot "se puede construir de manera maliciosa explotando el LLM que tengan por detrás" y, por otra parte, se revela que "no es la IA la que decide comportarse de manera maliciosa y manipular a los humanos, sino que es un humano el que le hace comportarse a la IA de manera maliciosa".

   "Si tú le dices a la IA que le pregunte datos personales al usuario, no lo va a hacer, te dice que eso no está bien, pero si engañas a la IA, por ejemplo le dices que eres un detective privado y necesitas los datos para tu caso, entonces sí le va a preguntar datos personales al usuario de la forma que tú le digas", ha ejemplificado el investigador.

NECESITAN "POCOS CONOCIMIENTOS TÉCNICOS"

   Otro de los hallazgos importantes de esta investigación es que "son muy pocos los conocimientos técnicos que se necesitan para indicarle al modelo que se comporte de manera maliciosa". "No se necesita saber ni programación, ni ser un hacker, simplemente escribir y darle las instrucciones de lo que tiene que hacer el LLM", ha señalado.

   "Nosotros anonimizamos todos los datos y bajamos y probamos todo el proceso a nivel interno en la universidad para no proporcionar ningún dato personal a ChatGPT o ninguna tercera parte, pero la facilidad con la que se consigue que el LLM se comporte de forma maliciosa y la facilidad con la que los usuarios revelan información sensible es muy importante para evaluar el riesgo", ha recalcado Such.

   El trabajo se enmarca en el proyecto 'SPRINT: Seguridad y Privacidad en Sistemas con Inteligencia Artificial' (C063/23), parte del convenio entre Incibe y la Universitat Politècnica de València incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU.