Todo tipo de IA generativa para los ciberataques
- Actualidad
Cisco Talos avisa sobre el uso generalizado de la inteligencia artificial generativa en las ciberamenazas, así como de los múltiples modelos de lenguaje que se utilizan en los ciberataques, desde herramientas legítimas hasta LLMs creados o modificados por los atacantes.
Debatimos muy a menudo del riesgo existencial que corremos si, en algún momento, se produce una singularidad y una inteligencia artificial “toma conciencia de sí misma”. Pero tenemos un riesgo mucho más cercano y no proviene de una única IA, sino de un buen puñado de ellas. Tantas como 1,8 millones de grandes modelos de lenguaje (LLM) que están disponibles en la actualidad, según Hugging Face, citada por Cisco Tales.
La división de ciberinteligencia de Cisco advierte del riesgo que supone el modo en que los ciberdelincuentes aprovechan “cada vez más los grandes modelos de lenguaje (LLMs) para automatizar y mejorar sus ciberataques”. La compañía expone en una investigación el “número significativo” de LLM sin salvaguardas ni limitaciones que se utilizan con fines delictivos. Pone como ejemplos Ollama y WhiteRabbitNeo, muy de Matrix, directamente “promocionado como herramienta para operaciones de ciberseguridad tanto defensivas como ofensivas”.
Además, la compañía ha identificado el uso de métodos para eliminar las restricciones integradas, de modo que, por ejemplo, se modifican los conjuntos de datos de entrenamiento. Justo a estas modificaciones, hay herramientas desarrolladas por ciberdelincuentes, publicitadas en la dark web. Entre ellas, destacan GhostGPT, WormGPT, DarkGPT, DarkestGPT y FraudGPT.
Ahora bien, nada como la potencia de las herramientas legítimas, aunque tienen barreras como “las directrices de formación y las medidas de seguridad que impiden respuestas a consultas poco éticas o ilegales”. Como menciona Cisco Tales, una de las técnicas utilizadas para saltarse esas barreras es la inyección inmediata, “que intenta hacer jailbreak a los modelos y eludir sus limitaciones”.
Ángel Ortiz, director de ciberseguridad en Cisco España, considera que, “para combatir el uso indebido de grandes modelos de lenguaje, las organizaciones deben adaptar sus medidas de seguridad en consecuencia. Esto implica monitorizar el tráfico relacionado con la IA, detectar avisos sospechosos y capacitar a los empleados para reconocer los correos electrónicos de phishing generados por la IA. Además, recomendamos encarecidamente trabajar exclusivamente con modelos de confianza y plataformas bien protegidas”.
