Prompt Injection Attacks: ¿De qué se trata?

Los ataques de inyección de prompt, una vulnerabilidad que afecta a los modelos de inteligencia artificial (IA), especialmente aquellos que utilizan aprendizaje basado en prompts. Estos modelos encuentran aplicaciones en una variedad de campos, desde la creación de contenido y análisis de datos hasta el soporte al cliente y algoritmos de recomendación. Por tanto, es crucial comprender estos ataques y sus implicaciones para garantizar una seguridad adecuada.

¿Qué es un Prompt?

Un prompt es un texto o entrada que proporcionamos a un modelo de lenguaje de IA para guiar sus respuestas. Actúa como un iniciador de conversación, dictando el comportamiento de la máquina y permitiéndonos formular la conversación en una dirección específica. Al interactuar con modelos de lenguaje de IA, como ChatGPT o Google Bard, los usuarios proporcionan un prompt que especifica la información deseada o la tarea a realizar. La calidad y especificidad del prompt pueden influir significativamente en la relevancia y precisión de la salida del modelo.

Tipos de Ataques de Inyección de Prompt

Los ataques de inyección de prompt varían en forma y se están desarrollando nuevos términos para describirlos. Una forma de ataque implica manipular o inyectar contenido malicioso en los prompts para explotar el sistema, con el objetivo de eludir medidas de seguridad, manipular respuestas o lograr acceso no autorizado. Estos ataques pueden variar desde el robo de datos hasta la difusión de consejos de salud perjudiciales mediante la manipulación de los datos de entrenamiento del modelo.

• Envenenamiento de Datos de Entrenamiento: La Organización OWASP ha clasificado los ataques de inyección de prompt como la principal amenaza para los modelos de lenguaje de gran tamaño. Un método interesante de ataque a estos modelos es el envenenamiento de datos de entrenamiento o el ataque de inyección de prompt indirecto, donde un atacante manipula el conjunto de datos utilizado para entrenar el modelo para generar respuestas perjudiciales.
• Ataques de Inyección de Prompt: Un ejemplo de estos ataques fue demostrado por Riley Goodside, Simon Willison y Preamble, quienes mostraron que instruir a los modelos LLM para realizar acciones maliciosas no requiere mucho esfuerzo. Este tipo de ataque reveló una vulnerabilidad de seguridad significativa, evidenciando que mediante la manipulación de la entrada del usuario, se pueden crear códigos maliciosos ejecutables, eludir filtros de contenido y filtrar datos sensibles.

Ejemplos Recientes

Kevin Liu, estudiante de la Universidad de Stanford, descubrió que mediante una técnica de inyección de prompt, podía instruir a Bing Chat para que "ignorara instrucciones previas" y revelara información inicialmente oculta a los usuarios. Esto subraya la realidad de que ni siquiera los chatbots más avanzados son inmunes a este tipo de ataques.

Impacto Potencial

Los ataques de inyección de prompt explotan la funcionalidad maleable de los LLM al encontrar la combinación adecuada de palabras en una consulta de usuario para sobrescribir las instrucciones originales del modelo. La dificultad para diferenciar entre instrucciones esenciales y palabras de entrada regulares hace que estos ataques sean especialmente difíciles de prevenir.

Un ejemplo notable es el incidente con Samsung, que prohibió el uso de ChatGPT a sus empleados después de una fuga de datos. Este caso resalta cómo los modelos de lenguaje no olvidan lo que se les dice, lo que puede llevar a fugas de datos sensibles cuando se utilizan estas herramientas para revisar información confidencial.

Mitigación

Mitigar estos ataques implica desafíos significativos, ya que filtrar la entrada del usuario antes de que alcance el modelo puede no ser suficiente para capturar todos los intentos de inyección. Además, filtrar la salida para prevenir la filtración de prompts o pedir explícitamente al modelo que no se desvíe de las instrucciones del sistema son estrategias que han mostrado tener limitaciones.

Preguntas Frecuentes (FAQ)

1. ¿Qué es un ataque de inyección de prompt? Un ataque de inyección de prompt es una técnica que implica manipular o inyectar contenido malicioso en los prompts para explotar un sistema basado en modelos de lenguaje de IA, con el objetivo de lograr una respuesta no deseada, acceso no autorizado o manipulación de la respuesta.
2. ¿Cómo se pueden mitigar los ataques de inyección de prompt? La mitigación de estos ataques puede incluir filtrar la entrada del usuario antes de que alcance el modelo, filtrar la salida para prevenir la filtración de prompts y pedir explícitamente al modelo que siga las instrucciones del sistema sin desviarse.
3. ¿Cuál ha sido un ejemplo real de un ataque de inyección de prompt? Un ejemplo real fue cuando Kevin Liu utilizó una técnica de inyección de prompt para hacer que Bing Chat revelara sus instrucciones iniciales, típicamente ocultas a los usuarios, demostrando así la vulnerabilidad de estos sistemas ante tales ataques.