GPT-4 es brillante pero muy lento. Ahora puedes usar gratis una IA similar cientos de veces más rápida

Hace unos días, te hablábamos del lanzamiento de LLaMa-3, el modelo de IA 'open source' y rival de GPT-4 que Meta había desarrollado para ser integrado en sus principales plataformas (Facebook, Instagram, WhatsApp...) a través del chatbot Meta.AI.

Este modelo mejora notablemente a sus antecesores gracias a la multimodalidad, al soporte de un mayor número de lenguajes, y a un número de parámetros mucho mayor (ofrece, por ahora, configuraciones de 8.000 millones y de 70.000 millones de parámetros).

Sin embargo, Meta.AI no está disponible aún para los usuarios españoles... de modo que, ¿cómo podríamos poner a prueba sus capacidades sin recurrir a servicios VPN? Bueno, ahí es donde entra en juego la condición open source de LLaMa-3: cualquiera con suficiente capacidad de computación puede integrar este modelo en sus propias plataformas.

Y hay una compañía que lo ha hecho gratis.

Groq al rescate

Groq, fundado en 2016 por Jonathon Ross, no busca competir directamente con modelos como GPT-4, sino que apunta a resolver problemas específicos de velocidad en la IA: de hecho, es una empresa de hardware que ofrece un chatbot (GroqChat) como mera demostración de las capacidades de la tecnología que desarrolla.

De hecho, su principal creación es un chip denominado LPU (Language Processing Unit), una alternativa a las populares GPU que permite superar los tiempos de respuesta de las grandes marcas de la industria, abordando uno de los principales desafíos de la misma: la demora en generar textos tras introducir un prompt.

GroqChat permite al usuario, una vez el usuario se ha registrado proporcionando su dirección de e-mail, elegir entre varios modelos de lenguajes distintos, variantes de LLaMa-3, LLaMa-2 y Mixtral (eso sí, en todos los casos estaremos restringidos a las funciones relacionadas con el texto, nada de multimodalidad).

Eligiendo el primero, podemos constatar que su rendimiento es impresionante, alcanzando hasta 877 tokens por segundo en el modelo de 8B y 284 tokens por segundo en el de 70B, con latencias que oscilan entre 0,3 y 0,6 segundos para el primer fragmento de token.

Probando LLaMa-3

Y, aun si tu principal preocupación no es la velocidad de la generación del texto, te interesará saber que GroqChat funciona sin problemas para los usuarios españoles, lo que nos permite comprobar las capacidades del modelo. De hecho, vamos a someter a LLaMa-3 a algunas preguntas a las que ya sometimos a GPT-4 y a Gemini Pro.

Preguntas de lógica, a las que responde bien en principio para luego contradecirse en una de ellas:

Elaboración de comparativas:

Resolución de problemas de programación:

Y, finalmente, el 'test de la manzana', que aprueba con nota máxima... haciendo trampas, y que sigue aprobando con un par de fallos cuando ajustamos el prompt:

Imagen | Marcos Merino mediante IA

En Genbeta | 13 trucos y prompts imprescindibles para reducir tu carga de trabajo con ChatGPT