Ya puedes usar BLOOM, una IA de código abierto más potente que GPT-3 que es capaz de generar texto en 59 lenguajes

Los modelos de lenguaje resultan cada vez más sorprendentes: a todos nos vienen a la mente ejemplos de inteligencias artificiales como GTP-2 o GPT-3 de OpenAI, generadores de texto capaces de mantener el sentido y la coherencia del mismo, llegando en algunos casos a resultar indistinguible de un texto escrito por humanos. Sin embargo, esta clase de modelos adolecen de dos defectos:

• Casi en su totalidad, son desarrollos privativos, cuyo código permanece inaccesible para la comunidad de investigadores.

• Suelen olvidarse de que existen (muchas) lenguas al margen del inglés.

¡BLOOM!

Ahora, ambas cosas van a cambiar gracias al lanzamiento de 'BigScience Large Open-science Open-access Multilingual Language Model', más conocido como 'BLOOM'. El desarrollo de esta IA comenzó en 2021, con el respaldo humano y financiero (100 millones de dólares) de la startup de machine learning Hugging Face (a la que conocerás, por ejemplo, por alojar el generador de DALL-E Mini en su sitio web), aunque también han colaborado Nvidia, Microsoft y el CNRS (el 'CSIC francés').

En declaraciones a VentureBeat, Teven Le Scao, ingeniero de investigación de Hugging Face, ha explicado que Hugging Face hizo uso de los proyectos opensource 'Megatron' de Nvidia y 'DeepSpeed' de Microsoft —ambos basados en el framework de machine learning PyTorch—, creados para permitir a los científicos de datos entrenar grandes modelos de lenguaje.

BLOOM está entrenado para generar texto un total de 59 idiomas: 46 de ellos naturales (incluyendo el español, el catalán y el vasco) y 13 de ellos de programación. Sus 176.000 millones de parámetros (que superan, aunque sea por poco, el límite establecido previamente por GPT-3) necesitaron ser sometidos a 117 días (del 11 de marzo al 6 de julio) de capacitación en la supercomputadora francesa Jean Zay.

Y esta es una noticia ESPECTACULAR!

Que la comunidad haya tardado ~2 años en liberar un modelo open source semejante a GPT-3 es increíble. Algo que da esperanza a un futuro donde la IA siga estando abierta para su investigación y uso.

— Carlos Santana (@DotCSV) July 12, 2022

Además, se ha licenciado bajo una licencia abierta propia, basada en la 'Responsible AI', que permite un uso "lo más abierto posible" sin renunciar a mantener cierto control sobre el uso que se le da a la IA: "Estamos tratando definir qué significa el código abierto en el contexto de los grandes modelos de IA, porque realmente no funcionan como lo hace el software", dijo Le Scao.

Cualquiera puede descargarlo. Y, en teoría, ejecutarlo

Pero, ojo: que BLOOM esté sometido a una licencia libre no significa que su uso tenga que ser necesariamente gratuito. Estamos acostumbrados a que esta clase de modelos de IA (al igual que los basados en imágenes, como DALL-E) se vean como meras aplicaciones web, pero si OpenAI cobra por usar GPT-3 es porque hace un uso intensivo de su costosa infraestructura física…

…de modo que Hugging Face podría estar cobrando por el uso de BLOOM si quisiera (por ahora, sólo te pide que te registres en su web). Sin embargo, su licencia evita que esta compañía tenga el monopolio del modelo: cualquier otra entidad con acceso al mismo hardware podrá ahora poner en marcha su propia instancia de BLOOM.

"Todos los experimentos que los investigadores y profesionales siempre han querido ejecutar […] ahora son posibles. BLOOM es la semilla de una familia viva de modelos que pretendemos cultivar, no un modelo único, y estamos listos para apoyar los esfuerzos de la comunidad para expandirlo".

Imagen | Darryl Morran