ChatGPT aterrizó en el mercado hace un año revolucionando el mundo de la inteligencia artificial ya que trajo una herramienta muy potente a manos de todo el mundo. Es una IA generativa que nos puede ayudar a reducir el tiempo que gastamos en ciertas tareas laborales y hasta se cree que puede eliminar muchos puestos de trabajo.
Ahora, la Universidad Politécnica de Madrid junto con investigadoras de otros grandes centros educativos, han hecho una investigación para poner a prueba el software de OpenAI.
Han partido de la base, según sus palabras, de que "tenemos un conocimiento muy limitado de estas herramientas", como que ignoramos algo tan básico como cuántas palabras de idiomas como el español puede identificar ChatGPT,
Te adelantamos que esta herramienta entrenada con muchos datos de internet, millones de repositorios públicos, incluyendo código del propio GitHub, según las informaciones públicas al respecto, puede ser que conozca muy bien el idioma inglés (su sede principal está en Estados Unidos), pero está limitada en cuanto al español.
90.000 palabras del diccionario de la RAE
Investigadores de la Universidad Politécnica de Madrid (UPM), junto a colegas de la Universidad Carlos III de Madrid (UC3M) y la Universidad de Valladolid (UVa), se propusieron descubrir el conocimiento que ChatGPT tiene del castellano.
El primer paso fue crear una aplicación nueva de nombre ChatWords. Su objetivo: evaluar el conocimiento léxico que el software más famoso de OpenAI tiene de diferentes idiomas. Probaron las más de 90.000 palabras del diccionario de la RAE.
El modelo ChatGPT3.5 turbo desconoce aproximadamente el 20%. Y no solo eso. Del 80% restante, ofrece significados erróneos en algunos casos, en torno al 5%.
Javier Conde, profesor ayudante en la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la UPM dice que analizando los significados que da ChatGPT de las palabras, vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto y que "quizás ChatGPT no sea hoy en día tan sabio como aparenta".
Esta es una de las conclusiones principales aunque cabe decir que, según estudios, un hispanohablante reconoce 30.000 palabras de media.
Un escenario con cada vez menos vocabulario
Pedro Reviriego, profesor titular de la ETSIT , ve una preocupación respecto a esto: considera que resulta “muy factible un escenario en que el contenido recién generado tenga un número cada vez menor de palabras distintas” y esto hay que tenerlo en cuenta para "garantizar la riqueza léxica en el texto creado por inteligencia artificial".
La aplicación ChatWords es de código abierto. El objetivo ahora es usarla para evaluar otros idiomas y para comprender mejor el conocimiento léxico que tienen las herramientas de inteligencia artificia.
Según el estudio oficial, este trabajo se enmarca en el proyecto Redes del Futuro para Centros de Procesados de Datos y Operadores, financiado por la Agencia Estatal de Investigación, y cuenta con el apoyo de OpenAI, laboratorio estadounidense responsable de ChatGPT.
Vía | Wired
Ver 5 comentarios