Los chatbots vuelven a estar de moda. Y es que desde el pasado año, OpenAI sorprendía al mundo con ChatGPT, una herramienta capaz de procesar el lenguaje natural y ofrecer respuestas precisas sobre cualquier temática. De esta manera, esta IA se está convirtiendo en un ayudante al que muchos usuarios están recurriendo, incluso para sus tareas más cotidianas.
Sin embargo, esta inteligencia artificial está aún lejos de ser perfecta, además de que existen ciertos riesgos a tener en cuenta si no se usa con prudencia. Es por ello que Nvidia ha querido mostrar al público un kit de herramientas y documentación para aplicar diversos filtros de seguridad en aplicaciones que utilicen inteligencias artificiales de texto generativas.
Nvidia pretende ser un referente en la seguridad de la inteligencia artificial
Aunque OpenAI y demás empresas sumergidas en proyectos similares dicen estar trabajando en solucionar los problemas de seguridad que puedan presentar sus productos, aún no se encuentran en un estado como para no tener preocupaciones sobre cómo se desenvuelven y los riesgos que pueden ocasionar para el usuario. Y es que hasta los mejores modelos de lenguaje son susceptibles a todo tipo de sesgos, toxicidad, y problemas similares. También se encuentra el problema de las "alucinaciones", ofreciendo información inexacta, o que simplemente no es real.
Con motivo de ofrecer una herramienta que ofrezca seguridad ante las propuestas de modelos de texto generativo, Nvidia lanza NeMo Guardrails. Este toolkit open-source tiene el objetivo de hacer que las aplicaciones basadas en IA sean más "precisas, apropiadas y seguras".
Jonathan Cohen, vicepresidente de investigación aplicada en Nvidia, asegura que la compañía ha estado trabajando en estas herramientas durante "varios años", pero no fue hasta hace un año cuando se dieron cuenta de que su toolkit podría encajar muy bien con modelos tales como GPT-4 y ChatGPT.
Guardrails incluye código, ejemplos y documentación para "añadir seguridad" a aplicaciones basadas en IA que generen texto y voz. La compañía afirma que sus herramientas son compatibles con la mayoría de modelos de lenguaje, por lo que los desarrolladores podrán modificar reglas con tan solo unas pocas líneas de código.
Guardrails puede utilizarse para evitar -o al menos intentarlo- que los modelos se desvíen del tema, respondan con información inexacta o lenguaje tóxico y establezcan conexiones con fuentes externas "no seguras". De esta manera se pueden aplicar límites a los modelos de lenguaje, intentando evitar que la IA responda a temas que no correspondan con su función.
Desde Nvidia aseguran que los desarrolladores serán los que controlen los límites de Guardrails, lo que puede ocasionar que a veces las correcciones puedan ser muy limitantes o demasiado permisivas según el caso de uso. La compañía también reconoce que su herramienta puede no ser perfecta, y que se adaptará de mejor manera en modelos específicos para el seguimiento de instrucciones, al estilo ChatGPT.
Nvidia tampoco es una hermanita de la caridad, y su sistema pertenece a su conjunto de herramientas incorporadas en su framework NeMo, disponible para su suite empresarial y su servicio NeMo basado en la nube. Si bien cualquier compañía puede implementar su propia versión de Guardrails de manera open-source, es muy probable que Nvidia prefiera que sus usuarios paguen por la versión alojada por ellos mismos.
Más información | NVIDIA
Vía | TechCrunch
Ver 1 comentarios