Cuando aún estábamos descubriendo todas las capacidades de inteligencias artificiales super potentes como DALL-E, Midjourney y ChatGPT, la firma OpenAI va a y nos sorprende con otra nueva herramienta: GPT-4. Mejor aún que las anteriores por todo lo que es capaz de hacer. Ya estaba anunciada y, por fin, llegó ayer. En este artículo vamos a ver todo lo que hemos podido descubrir sobre si resulta una amenaza para la tarea de los desarrolladores.
Primero, vamos a recordar que ChatGPT no es más que una interfaz para comunicarnos con un 'modelo de lenguaje', una IA que por ahora es GPT-3.5, así que la web de ChatGPT puede no cambiar nada mientras que, 'tras el escenario', la IA que ofrece las respuestas se actualiza y mejora notablemente.
Y es que GPT-4 es un modelo con una complejidad mucho que su antecesor, y también con mayor capacidad: ahora será capaz de manejar más de 25.000 palabras, gracias a lo cual podrá manejar consultas y conversaciones con un contexto mucho más amplio sin perderse durante la conversación.
Software engineers: rest easy.
— Alex Reibman 🖇️ (@AlexReibman) March 14, 2023
GPT-4 isn't ready to replace you pic.twitter.com/enDoOuXSSh
Ahora, si hablamos de sus capacidades en cuanto a desarrollo de software, tenemos que los ingenieros de software, podrían estar tranquilos, ya que GPT-4 no está preparado para sustituirte... si eres muy bueno, eso sí. Al menos eso dice Alex Reibman tras comprobar que la nueva IA de OpenAI tiene un muy bajo rendimiento en las pruebas de Leetcode que son difíciles.
Qué es Leetcode y cuántos desarrolladores pueden con ellas
Ahora bien, aunque GPT-4 no sea genial en las pruebas duras de Leetcode hay que decir que muchos desarrolladores y desarrolladoras tampoco lo son... LeetCode es una plataforma web muy usada por los departamentos de recursos humanos de empresas tecnológicas para reclutar a sus ingenieros. También Twitter lo hace.
Ahora bien, cabe decir que, como muchas personas indican en el mismo hilo de Twitter o como puedes encontrar en foros de Internet o en redes sociales, muchos son los ingenieros que afirman que las pruebas difíciles de LeetCode son realmente difíciles también para las personas y no solo para GPT-4.
También merece la pena destacar que mirando la lista completa de las capacidades de esta nueva herramienta en diferentes campos, GPT-4 obtiene los mejores resultados en el examen de abogacía, biología y otros temas académicos, y los peores en problemas donde resolver código difícil. Puedes ver la lista entera en este tuit:
Interesting benchmark. Here's the full list if anyone's interested.
— Leo Rezaei (@theLionary) March 14, 2023
GPT-4 performs best on bar exam, biology and other academics and worst on hard code problems. pic.twitter.com/7Y5AoNo7iC
Grandes capacidades de desarrollo de GPT-4
Aunque GPT-4 no pueda con pruebas difíciles de ingeniería, sí tiene capacidades que impresionan. Por ejemplo, puede programar juegos. El usuario Ammar Reshi, diseñador, muestra cómo ha recreado un juego de Snake (la típica serpiente a la que tanto jugábamos a comienzos de los 2000) que se ejecuta en tu navegador usando Chat GPT-4 y Replit (una herramienta para construir software colaborativo), con cero conocimiento de Javascript. Y lo ha hecho, dice, en menos de 20 minutos.
Para ello, primero le pidió a GPT-4 que le proporcionara código para un juego de Snake, con el HTML, CSS y Javascript necesarios para hacerlo funcionar. Esto proporcionó todo el código que necesitaba para poner en marcha el proyecto. "No fue capaz de completar todo en una sola respuesta, pero me limité a responder con "continuar"" para que le diera toda la información. Con esta información fue a Replit, creó una cuenta y pegó la información.
Comenzó pronto a jugar pero había problemas como que la serpiente moría después de su primer mordisco en lugar de crecer. Así que le pidió a GPT-4 que hiciera esos ajustes y... lo hizo.
It had some issues. The snake would die after its first bite instead of growing, and it kept adding the score in increments of 2 instead of 1. So I asked GPT-4 to make those tweaks and it did! pic.twitter.com/ud0Cjl6AqS
— Ammaar Reshi (@ammaar) March 14, 2023
Pietro Schirano, diseñador y experto en IA también dice haber recreado el juego de Pong en menos de 60 segundos.
También nos han mostrado que GPT-4 puede crear un sitio web funcional a partir de un boceto hecho a mano sobre una servilleta de papel.
Una gran limitación de GPT-4
Ahora bien, al igual que sucede con ChatGPT que, tiene entre sus grandes limitaciones que no puede proporcionar ninguna información después de 2021 y las solicitudes sobre información anterior a Internet tendrán muchas menos fuentes disponibles, ya que esta AI ha sido entrenada con información sustraída de Internet, la nueva IA presenta un problema similar.
Horace He, experta en Pytorch, hizo pruebas al respecto para comprobar "de los problemas más fáciles en Codeforces, resolvió 10/10 problemas anteriores a 2021 y 0/10 problemas recientes", lo que, dice, le hace sospechar que el rendimiento de GPT-4 está influido por la contaminación de datos, al menos en Codeforces.
Ver 2 comentarios