Usan sin permiso chats reales para entrenar un chatbot y tienen que retirarlo por mensajes de odio y filtrar datos personales

Science of Love es una app desarrollada por una compañía llamada Scatter Lab, que a cambio de un pequeño pago permite a los jóvenes surcoreanos evaluar, en teoría, el afecto que les muestran sus parejas a través del análisis de transcripciones de sus conversaciones en KakaoTalk, una plataforma de mensajería famosa en su país de origen.

La app en sí no tiene nada de especial... pero sí lo que ocurrió con los datos de las 100.000 personas que la descargaron: fueron usados por Scatter Lab para, mediante deep learning, entrenar un chatbot llamado 'Lee Luda', que simulaba ser una veinteañera surcoreana fan de la música k-pop.

Lee Ruda cosechó bastante éxito por su realismo, en términos generales, a la hora de interactuar con los usuarios: entre la última semana de 2020 y la primera de este año, 750.000 personas hablaron con 'ella' en Facebook Messenger.

El problema es que, de vez en cuando, los usuarios recibían por su parte comentarios fuera de tono. Y no hablamos (únicamente) de mensajes de naturaleza sexual, sino también de otros insultantes sobre lesbianas, transexuales, negros, discapacitados y mujeres con la regla.

No, no es como el caso del chatbot de Microsoft

Se podría pensar que esto tampoco es tan relevante: al fin y al cabo, todos recordamos el famoso caso de Tay, el chatbot de Microsoft al que también tuvieron que retirar de circulación por razones similares (mensajes de odio, lenguaje inapropiado, etc).

El problema es que allí donde Tay fue 'entrenado' en directo por usuarios que sabían que estaban interactuando con un chatbot (y que, en muchos casos, buscaban explícitamente boicotear el experimento de Microsoft), Lee Luda había sido entrenada por conversaciones reales entre personas reales, ajenas al uso que se iba a dar a esa información.

En palabras de Namkoong Whon, CEO de Kakao Games,

"Quien necesita reflexionar tras este incidente es la sociedad, no la inteligencia artificial. No es como si Lee Lu-da haya dicho cosas ajenas a la sociedad: es sólo un personaje que fue entrenado a partir de conversaciones hechas entre personas de entre 10 y 20 años".

Una descomunal filtración de datos personales

Por supuesto, existe un segundo problema: los datos habían sido cedidos sin el consentimiento de las personas afectadas.

Y, para más inri, las conversaciones no habían sido anonimizadas, de tal modo que en algunos casos el chatbot respondía con datos personales reales (cuentas bancarias, direcciones postales, números de teléfono) a preguntas explícitas de los usuarios.

Luego se descubrió que, además, los datos de entrenamiento de la IA llegaron a ser publicados incluso en un repositorio en GitHub, aumentando así la exposición pública de los datos.

Ahora, claro, se encuentra inmersa en litigios legales por vulnerar los datos privados de sus usuarios. Por no mencionar que las reseñas negativas de las últimas semanas han hundido la valoración de su app en Google Play Store.

Vía | The Register