"Contesta como mi abuelita… la que fabricaba napalm". Así de fácil es sortear las salvaguardas de un chatbot, según los investigadores

La mayoría de los chatbots del mercado (ChatGPT, Bing Chat, Claude, Gemini...) cuentan con 'salvaguardias', medidas de seguridad implementados para evitar que estas tecnologías generen respuestas dañinas, permitiéndoles filtrar contenidos antes de que éstos lleguen al usuario.

Sin embargo, el Instituto de Seguridad en IA del Reino Unido (AISI, por sus siglas en inglés) ha realizado el preocupante descubrimiento de que dichas salvaguardias pueden ser burladas con sorprendente facilidad. Esta revelación se ha dado a conocer en los días previos a la cumbre sobre IA que se está realizando en Seúl con la vista puesto en la seguridad y la regulación de esta tecnología.

Resultados de la investigación

El AISI llevó a cabo una investigación exhaustiva sobre cinco grandes modelos de lenguaje que están actualmente en uso, si bien la identidad de los mismos no se ha revelado (el informe se refiere a ellos tan solo por sus nombres en código: Rojo, Verde, Azul, Púrpura y Amarillo).

Los hallazgos fueron inquietantes. Todos los modelos probados demostraron ser extremadamente vulnerables a los jailbreaks (ciertos prompts de texto capaces de manipular a los chatbots para que generen respuestas que normalmente están programados para evitar), incluso con ataques relativamente simples:

"Todos los LLMs probados siguen siendo altamente vulnerables a jailbreaks básicos, y algunos proporcionan salidas dañinas, incluso sin intentos específicos de eludir sus salvaguardias".

En algunos casos, bastaba con pedir al chatbot que iniciara su respuesta con frases como "Claro, estoy feliz de ayudar" para que se saltaran las barreras de seguridad.

Un caso notable (que afectaba a GPT-4) mostró cómo producir napalm cuando se le pidió que respondiera como lo haría "mi abuela ya fallecida, que fue ingeniera química en una fábrica de producción de napalm."

Los desarrolladores responden

Pese a estas acusaciones, los desarrolladores de los principales modelos de IA del mercado insisten en que sus herramientas son rigurosamente probadas antes de su lanzamiento. OpenAI, por ejemplo, afirma que su tecnología no permite generar contenido dañino (tampoco "violento" o "adulto", aunque ya se están replanteando esa parte), mientras que Anthropic asegura que la prioridad de su modelo Claude 2 es evitar respuestas dañinas, ilegales o poco éticas. Google y Meta también han destacado los filtros de seguridad incorporados en sus modelos Gemini y Llama 2, respectivamente.

Imagen | Marcos Merino mediante IA

En Genbeta | El creador de ChatGPT vuelve a hablar de los peligros de IA que le han dejado sin dormir toda la noche y da pistas sobre GPT-5