Hace unos meses pudimos ver cómo OpenAI volvía a sorprender al mundo con las capacidades de GPT-4o, su último modelo de lenguaje de IA hasta la fecha. No solo por su rapidez, ventana de contexto y otros parámetros importantes, sino por las habilidades que adquiriría su aplicación para dispositivos móviles y ordenadores: la posibilidad de entablar una conversación rápida y fluida en lenguaje natural mediante la voz y captar todo lo que le enseñamos a través de la cámara.
Este nuevo modo ya ha comenzado a llegar a algunos usuarios de ChatGPT Plus, mientras que los usuarios del plan gratuito también han podido catar varias novedades desde la app de ChatGPT, como la posibilidad de mostrarle imágenes a la IA para que las procese y nos ofrezca respuestas sobre cualquier tema, enviar documentos y más.
ChatGPT puede llegar a clonar nuestra voz de manera no autorizada
En lo que respecta a su nuevo modo de voz, los usuarios pueden escoger qué tipo de voz quieren darle al asistente. Antes, la app contaba con una voz muy parecida a la de Scarlett Johanson, una polémica que se resolvió posteriormente. Sin embargo, en el último informe de OpenAI que habla sobre los aspectos de seguridad de su aplicación, la compañía admite que, en determinadas circunstancias, la IA podría clonar nuestra propia voz.
Durante algunas pruebas, el asistente pudo imitar la voz de la persona que estaba utilizando la aplicación. Esto, lejos de las bromas, podría tener serias implicaciones en la seguridad y privacidad del usuario, lo que podría desembocar en problemas de suplantación de identidad y consecuentes estafas.
El modelo GPT-4o produce su voz a través de una serie de instrucciones internas que guían a la aplicación cómo debe responder durante las interacciones con el usuario. Para la síntesis de voz, el sistema depende de las muestras de voz dadas por la compañía. Sin embargo, a pesar de que este sistema sirva de guía, no es perfecto. De esta manera, la habilidad del modelo para sintetizar voces a través de breves clips de audio hace que, en determinadas circunstancias, pueda incluso clonar nuestra propia voz y acabar respondiéndonos con nuestro mismo tono.
El audio que muestra OpenAI es un claro ejemplo de cómo el asistente, tras un rato de conversación, responde a la persona con una voz idéntica a la suya. Y es que justo después de que la IA interviene con un ‘No’, el asistente clona la voz de la persona para responderle, un ejemplo de cómo ChatGPT podría generar voces de nosotros mismos de manera no autorizada.
"La generación de voz también puede ocurrir en situaciones no adversariales, como nuestro uso de esa capacidad para generar voces para el modo de voz avanzado de ChatGPT. Durante las pruebas, también observamos casos aislados en los que el modelo generaba involuntariamente una salida que emulaba la voz del usuario", explicaba OpenAI en su informe.
"Aunque la generación involuntaria de voz sigue existiendo como punto débil del modelo, utilizamos los clasificadores secundarios para asegurarnos de que la conversación se interrumpe si esto ocurre haciendo que el riesgo de generación involuntaria de voz sea mínimo”, continuaba la compañía en el texto.
Tras las pruebas, OpenAI ha mejorado su sistema para evitar que este tipo de situaciones ocurran. Sin embargo, a pesar de que ahora el riesgo sea mínimo, no sería la primera vez que los usuarios utilizan algún prompt muy elaborado para hacer que ChatGPT realice cosas para las que no ha sido diseñado.
Imagen de portada | OpenAI
Ver 0 comentarios