Durante muchas semanas hemos hablado de ChatGPT y de su gran potencia a la hora de realizar consultas que puede salvarnos de un apuro. El problema es que está algo limitado su uso al no estar conectado a internet, y tener una base de datos que se limita al año 2021. Es por ello que es celebrado el tener ahora un equivalente a ChatGPT pero de código abierto, aunque sea imposible de ejecutar en la actualidad.
Esta misma semana Philip Wang ha presentado un modelo de generación de texto que se comporta de manera similar a ChatGPT y que se llama PaLM + RLHF. En este caso se está combinando PaLM que es un modelo de lenguaje de Google y la técnica de aprendizaje por refuerzo con retroalimentación humana, RLHF.
El competidor de ChatGPT que no podrás usar
Con esta combinación de tecnologías se consigue tener una experiencia similar a la de ChatGPT a la hora de redactar correos electrónica e incluso crear códigos de programación. El problema en la actualidad de esta herramienta es que no está pre entrenada con los datos web para que pueda funcionar. Esto hace que sea realmente complicado usarlo, ya que para ello haría falta compilar grandes cantidades de texto para entrenar el modelo y que funcione. De esta manera es necesario contar con un hardware robusto para que tenga la capacidad de trabajar con toda esta información.
En el caso de que se entrene a la herramienta con ejemplos de datos de entrenamiento como publicaciones de Reddit o artículos de noticias, se va a poder obtener patrones como el contexto semántico del texto que se va a introducir. Pero lo más interesante de todo es que cuenta con la tecnología necesaria para tener una retroalimentación humana que mejorará los modelos de lenguajes para que se adapten a cómo hablan los humanos.
El problema que se presenta en este caso es que es necesario que se entrene este modelo para que compita de manera directa con ChatGPT. Y esto es algo que a priori no está planificado, debido al alto coste que supone para cualquier persona. Concretamente se estimó en un estudio que los gastos para desarrollar un modelo de generación de texto con 1.500 millones de parámetros es de hasta 1.6 millones de dólares. Y para entrenar este modelo harían falta miles de dólares.
Esto se debe a que es necesario contar con una PC dedicada con ocho GPU A100 para arrancar y después mantenerlo tampoco es para nada barato. De esta manera no habrá competidor hasta que una empresa millonaria le dé algún tipo de financiación para ponerla a punto de cara al público. Es aquí donde radica que el concepto está realmente bien, pero ponerla en funcionamiento es una tarea faraónica para cualquiera.
Vía | TechCrunch
