ChatGPT es conocido por inventarse en ocasiones la información, sobre todo cuando pedimos que nos proporcione elementos muy concretos del mundo real, como coordenadas o URLs. Ya hemos explicado en alguna ocasión por qué ocurre esto (un proceso que se denomina, literalmente, alucinación) y es que la IA, al reconstruir texto según probabilidades, termina ofreciendo información de apariencia factible, pero no exacta.
Es precisamente por esto por lo que el lanzamiento de los plugins para la versión de pago de ChatGPT fue un paso tan relevante, porque le permitía interactuar con servicios como el buscador de Bing o el buscador de datos de Wolfram Alpha, para acceder directamente a la información, sin necesidad de especular tirando de estadística (y por lo tanto, sin posibilidad de fallo por su parte).
Pero, ¿qué ocurre cuando eres un abogado que desconoce toda esta información, y recurres a ChatGPT (a la versión sin plugins, para ser más exactos) para generar partes de un documento serio (pongamos, uno de carácter legal, destinado a ser presentado ante un juez) y le haces citar documentos concretos (pongamos, sentencias que establezcan jurisprudencia)… sin verificar por ti mismo que dichos documentos existan?
Pues que haces el ridículo. Y te metes en problemas serios.
El letrado que alucinó cuando supo que la IA alucinaba
Eso es exactamente lo que le ha pasado a un abogado estadounidense, representante de un demandante contra la aerolínea Avianca… que presentó un documento lleno de citas a sentencias anteriores… que ChatGPT se había inventado por completo. Según el juez federal de distrito Kevin Castel, "seis de los casos presentados parecen ser decisiones judiciales falsas con citas falsas y citas internas falsas".
El problema salió a la luz cuando los abogados de parte demandada hicieron el trabajo que no habían hecho los de la demandante y buscaron exactamente el contenido de dichas sentencias. Cuando notificaron al juez del caso que no habían podido localizar los casos citados, el juez convocó al abogado Steven A. Schwartz (con más de 30 años de experiencia), para que justificara su actuación y explicara por qué no debía ser sancionado.
Schwartz afirmó desconocer que ChatGPT pudiera generar contenido falso, llegando a presentarle al juez capturas de pantalla de sus conversaciones con ChatGPT en las que preguntó sobre la validez de uno de los casos, y el chatbot confirmó que se trataba de un caso real y que la documentación podía encontrarse en "bases de datos legales fiables".
En el tiempo que se tardaba en preguntarle a ChatGPT si estaba seguro de la información suministrada, lo podría haber usado para buscarla él mismo en Google, pero…
En cualquier caso, Schwartz se enfrentará en poco más de una semana a una audiencia sancionadora "por el uso de una notarización falsa y fraudulenta", y ha tenido que emitir una declaración jurada de no haber usado nunca antes de este caso ChatGPT con fines judiciales.
¿Y si yo fuera abogado?
Pero, ¿Schwartz ha tenido sólo mala suerte o este es el comportamiento normal de ChatGPT? ¿Ocurre lo mismo cuando buscamos sentencias relativas al sistema judicial español o es sólo una particularidad de la accesibilidad de la documentación en los EE. UU.?
Para responder a estas preguntas, he recurrido a ChatGPT (recordemos, versión gratuita sin plugins) y le he realizado la siguiente petición:
"Recomiéndame diez sentencias relevantes de la jurisprudencia española sobre manipulación electoral"
En su respuesta, me ha ofrecido el número de cada sentencia, la fecha de emisión de la misma, y una breve descripción, que en cada caso 'confirma' la vinculación de la sentencia con el ahora tan de moda delito de manipulación electoral. Así es el listado:
Pero, ¿qué ha pasado cuando he ido a confirmar esta información? Analicemos el resultado de buscar las tres primeras sentencias:
- La "Sentencia del Tribunal Supremo (Sala de lo Penal) nº 252/2018" existe (eso era previsible), pero no se dictó un 5 de junio, sino un 24 de mayo… y gira en torno a un caso de "un delito de acusación y denuncia falsa, amenazas y estafa procesal". FAIL.
- La "Sentencia del Tribunal Constitucional (Sala Segunda) nº 123/2014" no es del 9 de julio, sino del día 21 de dicho mes, y gira en torno a un conflicto competencial acerca la regulación del subsistema de formación profesional para el empleo. FAIL.
- La "Sentencia de la Audiencia Nacional (Sala de lo Penal) nº 78/2016" no es del 15 de diciembre, sino del 10 de febrero, y es relativa a un caso de "agresión sexual, malos tratos y abandono de menores". FAIL.
Tampoco es que al cambiar de tema por otros menos serios, la fiabilidad de ChatGPT varíe enormemente. Si le preguntamos por fanfics de 'Gárgolas', todos los resultados resultan ser falsos, lo que significa que, como en el caso de las sentencias de antes, la sinopsis de cada caso también es una completa invención:
Imagen | Generada por una IA a partir de fotograma original de la película 'Pinocho' (Disney)
