ChatGPT y GPT-4 cometen muchos errores. OpenAI ha lanzado una guía para mejorar mucho sus resultados

OpenAI cuenta con una guía donde comparte estrategias y tácticas para obtener mejores resultados de los GPT. Esta empresa tiene en el mercado las muy reconocidas ChatGPT y GPT-4. La empresa recuerda que hay métodos que pueden combinarse para obtener mejores resultados y anima a los usuarios a experimentar para encontrar métodos que mejor se adapten a sus necesidades.

Algunos de los ejemplos que aquí se muestran sólo funcionan actualmente con nuestro modelo más potente, el gpt-4. Si aún no tienes acceso a gpt-4, considera la posibilidad de inscribirte en la lista de espera.

Y, antes de lanzarnos a dar más consejos, tenemos que quedarnos con uno muy importante: los GPT no pueden leerle la mente, por tanto, si recibes resultados muy largos, puedes pedir respuestas breves o viceversa. Si te dan un texto en un formato que no es lo que necesitas, solo escríbelo a la IA para que cambie la forma de redacción.

OpenAI ha hecho un resumen de seis estrategias para conseguir mejores resultados. A lo largo de esta guía, la empresa va recordando que los modelos GPT pueden cometer errores y que no debemos tomar sus resultados como verdades absolutas. Por tanto, es responsabilidad del usuario plantear , formular y reformular bien lo que quieren, si buscan resultados que sean buenos y ciertos.

Proporciona un texto de referencia

Los GPT "pueden inventar respuestas falsas, sobre todo cuando se les pregunta por temas esotéricos o por citas y URL". Lo dice la propia OpenAI y, no hay que olvidar, que una de las mayores quejas respecto a sus modelos de lenguaje es, precisamente, que no ofrece fuentes de las informaciones que da como si fueran verdad absoluta, y eso es un problema a la que la Unión Europea quiere poner solución.

Por tanto, puedes proporcionar texto de referencia a un software GPT lo que ayuda, dice la empresa fabricante, a "ayudar a responder con menos inventos". Tú preguntas algo y dices que responsa utilizando un texto de referencia y unas citas de referencia.

Dividir las tareas complejas en subtareas más sencillas

Al igual que en ingeniería de software es una buena práctica descomponer un sistema complejo en un conjunto de componentes modulares, lo mismo ocurre con las tareas que le pides a GPT.

Las tareas complejas suelen tener tasas de error más elevadas que las tareas más sencillas.

Bajo esta premisa, esta frase pronunciado por los mismos creadores de ChatGPT, te recomiendan hacer las tareas por partes. En decir en vez de pedirle que te haga un ensayo de muchas páginas sobre un tema que tienes que analizar, vete desglosando los diferentes puntos que querrás analizar. Finalmente, una IA no es una persona y tendrás que poner de tu parte para conseguir resultados fiables.

Por ejemplo, si quieres un texto o un análisis sobre un tema denso, vete solicitando resultados por partes. En vez de enviar documentos que quieras resumir muy largos, selecciona las partes que más te interesan y envíalas así a la IA.

Dar tiempo a las GPT para "pensar"

Según OpenAI, los GPT cometen más errores de razonamiento cuando intentan responder de inmediato, en lugar de tomarse tiempo para elaborar una respuesta. Para que la IA sepa que le das tiempo, puedes pedirle una "cadena de razonamiento antes de ofrece una respuesta", lo que puede ayudar a los GPT a razonar su camino para conseguir un resultado más fiable.

Es decir, antes de pedir una conclusión, indícale a la IA que vaya "razonando" su respuesta. Incluso puedes decirle, cuando te llegue el resultado, si puede ser que haya pasado por alto alguna teoría para elaborar la respuesta final y así la IA puede reelaborar el contenido.

Usa herramientas externas

Hay herramientas que pueden complementar a las IA de GPT. Por ejemplo, un motor de ejecución de código puede ayudar a las GPT a realizar operaciones matemáticas y ejecutar código.

Si una herramienta puede realizar una tarea de forma más fiable o eficiente que una GPT, descárguela para obtener lo mejor de ambas.

Un modelo puede aprovechar fuentes externas de información si se proporcionan. Esto puede ayudar al modelo a generar respuestas más informadas y actualizadas. Por ejemplo, si un usuario hace una pregunta sobre una película concreta, puede ser útil añadir información de alta calidad sobre la película a la entrada del modelo.

Según palabras de OpenAI, "un corpus de texto puede dividirse en trozos, y cada trozo puede incrustarse y almacenarse. A continuación, se puede incrustar una consulta determinada y realizar una búsqueda vectorial para encontrar los trozos de texto incrustados del corpus más relacionados con la consulta".

No se puede confiar en que las GPT realicen cálculos aritméticos o largos con precisión por sí solas. En los casos en que sea necesario, se puede ordenar a un modelo que escriba y ejecute código en lugar de realizar sus propios cálculos.

En concreto, se puede ordenar a un modelo que introduzca el código destinado a ser ejecutado en un formato designado, como el triple backtics. Una vez obtenido el resultado, el código puede extraerse y ejecutarse. Por último, si es necesario, la salida del motor de ejecución del código puede proporcionarse como entrada al modelo para la siguiente consulta.

Otro buen caso de uso para la ejecución de código es la llamada a APIs externas. Si un modelo recibe instrucciones sobre el uso adecuado de una API, puede escribir código que haga uso de ella. Se puede instruir a un modelo sobre cómo utilizar una API proporcionándole documentación o ejemplos de código que muestren cómo utilizar la API.

Por ejemplo, los modelos basados en GPT pueden "escribir y ejecutar código Python encerrándolo entre tres comillas", como se puede ver en la imagen anterior.

Prueba los cambios sistemáticamente

Mejorar el rendimiento es más fácil si se puede medir. Por ello, dicen desde OpenAI que si ves que el resultado no te satisface del todo o quieres comprobar si es correcto, puedes volver a pedirle a la IA que haga su tarea pero modificando alguna de las instrucciones.

Cada una de las estrategias enumeradas anteriormente puede aplicarse mediante tácticas específicas. Estas tácticas pretenden dar ideas de cosas que se pueden probar.

La evaluación de los resultados puede ser realizada por ordenadores, humanos o una combinación de ambos. Por ejemplo, OpenAI Evals es un marco de software de código abierto que proporciona herramientas para crear evaluaciones automatizadas.

Las evaluaciones basadas en modelos pueden ser útiles cuando existe una gama de posibles resultados que se considerarían de igual calidad (por ejemplo, para preguntas con respuestas largas). "La frontera entre lo que puede evaluarse de forma realista con una evaluación basada en un modelo y lo que requiere una evaluación humana es difusa y cambia constantemente a medida que los modelos se vuelven más capaces", afirma OpenAI.