Los investigadores del laboratorio OpenAI, especializado en machine learning e inteligencia artificual, han descubierto que su sistema de visión por ordenador de última generación podría tener un enorme error. Y es que con unas herramientas que todos tenemos y sabemos usar: un bolígrafo y un papel podría engañarse fácilmente al sistema.
Como se muestra en una imagen publicada por The Verge, basta con escribir el nombre de un objeto y pegarlo en otro para engañar al software y que identifique erróneamente lo que ve. "Nos referimos a estos ataques como ataques tipográficos", han explicado los investigadores de OpenAI en su blog. Como se puede ver en la imagen siguiente, compartida por OpenAI, el programa puede identificar una manzana verde como un iPod solo porque alguien escribió en un papel la palabra iPod sobre esta fruta.
La posibilidad de engañar a los coches autónomos de Tesla
Tanto es así que los investigadores han demostrado, por ejemplo, que se podría engañar al software de los coches autónomos de Tesla para que cambien de carril sin previo aviso simplemente colocando ciertas pegatinas en la carretera.
Este tipo de ataques son una seria amenaza para una gran variedad de aplicaciones de Inteligencia Artificial en muchos ámbitos como en el médico o en el militar. Como publican los investigadores en su blog, “las imágenes contradictorias (o imágenes ambiguas o difíciles de identificar) representan un peligro real para los sistemas que dependen de la visión artificial”.
Segíun el blog oficial de OpenAI “estos ataques son similares a las "imágenes contradictorias" que pueden engañar a los sistemas comerciales de visión artificial, pero el caso descubierto muestra que pueden ser mucho más simples de producir" que lo que se sabía. Esto es escribiendo una palabra en un papel y poniéndolo sobre un objeto.
Los errores de la recién estrenada CLIP
Hay que recordar que en enero, esta firma lanzaba CLIP, una herramienta entrenada con 400 millones de partes de imágenes y texto de Internet, que es capaz de reconocer al instante a qué categoría pertenecen las imágenes que se le muestran. El sistema reconoce objetos, caracteres, localizaciones, actividades, sujetos y más.
Ahora, dicen los investigadores que "muchas de las asociaciones que hemos descubierto parecen ser benignas, pero aún así hemos descubierto varios casos en los que CLIP mantiene asociaciones que podrían resultar perjudiciales para la representación".
Hemos observado, por ejemplo, que el concepto "Oriente Medio" [1895] se asocia con terrorismo o que personas de piel oscura se relacionan con gorilas, "reflejando incidentes anteriores de etiquetado de fotos en otros modelos que consideramos inaceptables", dicen desde OpenAI.
Ver 2 comentarios