Tres peligros asociados a la IA generativa

Recomendados.... Las nuevas fronteras de la ciberseguridad. Foro IT Digital Security (23 abril) Registro Diez aspectos para redefinir las estrategias de Experiencia de Cliente de las empresas en 2024 Informe Privacidad y seguridad en la inteligencia artificial empresarial con Zoom AI Companion Leer

Los modelos de lenguaje de gran escala (LLM) están revolucionando la forma en que interactuamos con la tecnología. Esta realidad introduce un nuevo conjunto de vulnerabilidades de ciberseguridad para las que Check Point Software Technologies recomienda abordar desde un conjunto exclusivo de medidas de Zero Trust.

Las tres principales amenazas que afronta la adopción segura de la inteligencia artificial generativa están relacionadas con la fuga de datos sensibles, la inyección de prompts y el control de acceso:

Fuga de datos sensibles

Los modelos pueden ajustarse o mejorarse con el acceso a los datos para lograr mejores resultados del dominio. En un estudio, unos investigadores utilizaron el mecanismo de ajuste de ChatGPT para extraer nombres y direcciones de correo electrónico de más de 30 empleados del New York Times. Este ejemplo muestra cómo los datos sensibles utilizados para el preentrenamiento o el ajuste fino de un LLM pueden filtrarse y crear riesgos regulatorios.

Inyección de prompt

Los ciberdelincuentes se aprovechan de las capacidades de los LLM y crean entradas para manipular el comportamiento y convertirlo en dañino, ya sea directa o indirectamente. Las solicitudes pueden ser inyectadas directamente por un atacante o indirectamente por un usuario ajeno a la utilización de una aplicación basada en LLM para su caso de uso establecido. El estudio destaca que existen cuatro tipos de inyecciones de prompt:

-Inyección directa de prompts: involucra a los ciberdelincuentes que introduzcan prompts específicos para cambiar el comportamiento o la salida del LLM de manera perjudicial. Un atacante puede ordenar directamente a un LLM para que actúe de forma poco ética, para filtrar información sensible o causar que el modelo ejecute código malicioso.

-Inyección indirecta de prompts: es más sutil e implica la manipulación de las fuentes de datos que utiliza el LLM, lo que la hace mucho más peligrosa y difícil de detectar en entornos organizativos.

-Inyecciones multimodales: permiten que los LLM reciban formatos como imágenes, vídeos y sonidos con instrucciones ocultas mezcladas en la entrada de medios para alterar el comportamiento del bot de la aplicación.

-Ataques de denegación de servicio (DoS): también pueden perpetrarse mediante inyecciones de prompts, lo que lleva a operaciones pesadas en LLM hasta el punto de sobrecarga y a la degradación del servicio, o altos costes.

Los modelos de IA generativa se someten a un entrenamiento exhaustivo que, a menudo, abarca la mayor parte del contenido de internet. En el robo de datos, los atacantes pueden comprometer la seguridad manipulando tan solo el 0.01% del dicho contenido. Dado que no pueden configurarse a ciegas, la integridad y seguridad de los datos no pueden considerarse válidos.

Control de acceso

Un número creciente de empresas está integrando el LLM en aplicaciones de múltiples componentes o "agentes". Estas integraciones mejoran el LLM con capacidades como acceso a internet, recuperación de recursos corporativos y realización de diversas acciones sobre ellos. Especialmente, el reciente lanzamiento de la tienda de complementos de OpenAI facilita el acceso generalizado a las extensiones de LLM.

La obtención de datos en tiempo real de internet a través de ChatGPT puede ser muy valiosa para los usuarios, ya que proporciona mejores respuestas a las consultas basadas en información actualizada. Sin embargo, ampliar los LLM para acceder a internet supone un gran desafío. En ejemplos recientes, la inserción de instrucciones maliciosas en URL causó que el chat de Bing persuadiera a los consumidores para que visitaran un sitio web malicioso o revelaran información sensible que se envió a un servidor externo.