Los programadores estaban confiando en ChatGPT para corregir su código, pero se equivoca la mitad de las veces que se le pregunta

Con la llegada de los chatbot basados en inteligencia artificial como ChatGPT, los desarrolladores vieron una gran oportunidad de ayuda para perfeccionar su actividad profesional. Hasta ahora era común que se hicieran búsquedas en Google o en guías de algún comando que no se recordaba, pero desde hace poco esta función se reserva para la IA. Pero se ha visto que no siempre hay que fiarse de ello.

Algo que ya hemos podido comprobar en numerosas ocasiones es qua los chatbots no son infalibles y pueden cometer muchos errores. Hace poco hablábamos de las alucinaciones que estaba sufriendo la IA de Google, y ChatGPT también reconoce sus errores. Pero ahora han querido averiguar cómo de bien (o de mal) funciona ChatGPT en el campo del desarrollo.

ChatGPT no es de fiar para los programadores

Los investigadores de la Universidad de Purdue quisieron determinar si los desarrolladores se puede fiar de ChatGPT tras la gran popularidad que ha conseguido en los últimos meses. En esta investigación los investigadores han reconocido que los textos inventados son habituales y pueden llegar a ser difíciles de reconocer.

"El 52% de las respuestas de ChatGPT contienen información errónea". Esta es la dura conclusión de estos investigadores tras realizar un total de 517 preguntas de programación de Stack Overflow. Sobre estas respuestas se analizaron tanto la precisión como la concisión, además de saber como se estaba expresando.

Pero además los resultados apuntan a que el 77% de las respuestas que se ofrecieron estaban más detalladas que las que ofrece una persona humana que son más concisas. Pero tener una respuesta desarrollada no garantiza que sea verdad lo que se dice. Pero de estas respuestas, el 78% tenía inconsistencias.

Todas estas pruebas se han realizado sobre GPT-3.5 y no sobre GPT-4, ya que esta primera es la versión gratuita de OpenAI y por ende es la más utilizada por cualquier persona. Pero en GPT-4 tras hacer las pruebas también vieron que no era perfecto, aunque si se mejora levemente la experiencia.

De esta manera, podemos concluir que no tienes que fiarte siempre de los resultados que te ofrece la inteligencia artificial. Y si eres programador y estás comprobado tu código menos aún. Siempre se debe revisar que el resultado tiene coherencia o puede estar alucinando. De esta manera podemos ver que todavía las IA puede estar alejadas de las respuestas que ofrece un humano o de nuestra propia lógica.

En Genbeta | Solen Feyissa Jexo

En Genbeta | GPT-4 recupera el trono de los chatbots sólo dos semanas después de perderlo: el reinado de Claude 3 ha sido muy corto