Estos son los investigadores españoles que han participado en el 'red team' de evaluación y mejora de GPT-4
- Actualidad
Un equipo de investigadores del instituto VRAIN de la Universidad Politécnica de Valencia ha participado en el “red team” de GPT-4. Su trabajo consistió en la identificación de riesgos y vulnerabilidades en el sistema más avanzado inteligencia artificial desarrollado hasta la fecha por OpenAI.
Yael Moros, Lexin Zhou, Wout Schellaert, Cèsar Ferri y José Hernández-Orallo son un equipo del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la UPV, que ha trabajado con otros investigadores de fuera y dentro de OpenAI en el “red team”, de GPT-4, la última versión del modelo de lenguaje basado en inteligencia artificial. Su labor consistió en la identificación de riesgos y vulnerabilidades en el sistema, adoptando la mentalidad y métodos de posibles atacantes, así como en la evaluación de las capacidades de GPT-4 y el potencial exceso de confianza de los usuarios en el mismo.
La labor realizada por este grupo de investigadores de la UPV ayudó a identificar riesgos iniciales, motivar la investigación sobre seguridad, realizar pruebas iterativas en áreas clave y reducir los riesgos en muchas áreas identificadas. También permitió comprender mejor las capacidades de GPT-4, sus mejoras con respecto a modelos anteriores y si estaba avanzando en la dirección deseada.
La colaboración se estableció debido a la experiencia del grupo de investigación en la evaluación de la inteligencia artificial (IA) y sus anteriores trabajos con OpenAI. Investigadores de OpenAI se pusieron en contacto con el equipo de investigadores de VRAIN de la UPV para solicitar su ayuda en la evaluación de GPT-4, dada la relación entre sus áreas de investigación.
Tras realizar este trabajo, los investigadores destacan la determinación del “red team” para conseguir sistemas más seguros y el gran salto en rendimiento de GPT-3 a GPT-4 en solo dos años, aunque consideran que es importante utilizar GPT-4 con cautela para evitar una dependencia excesiva. También resaltan que "tiene un gran potencial para cambiar la forma en que se trabaja, automatizando tareas tediosas y permitiendo centrarse en tareas más desafiantes y divertidas".
En el ámbito de la ingeniería informática, GPT-4 podría influir significativamente en el proceso de desarrollo de software y hardware, mejorar la productividad en tareas como generación de código, detección y corrección de errores, generación de documentación, revisión y optimización de código, extracción y resumen de conocimientos o ciberseguridad, entre otros.
