Tras muchos meses de rumores y de peticiones por parte de los usuarios, Apple ha lanzado su propio modelo de inteligencia artificial: Apple Intelligence. Una estrategia muy inteligente al haberse "apropiado" de las siglas de inteligencia artificial (IA), aunque todavía tendremos que esperar unos meses hasta que finalmente la podamos probar en nuestros dispositivos.
Pero hasta ese momento ya podemos valorar su funcionamiento con los benchmarks que ha publicado la propia compañía en su página web. A grandes rasgos se puede concluir que la potencia no es uno de los fuertes de esta IA y con esto se entiende el hecho de que hayan tenido que recurrir a terceros como OpenAI con ChatGPT.
Apple Intelligence no consigue superar a GPT-4 Turbo
Entre los test que se han practicado se ha destacado la comparativa con otros modelos de código abierto como por ejemplo Gemma o Mistral, así como con modelos comerciales como GPT-3.5 o GPT-4 Turbo. En los test hechos en la inteligencia artificial que se desarrolla de manera local en el propio dispositivo se puede destacar un rendimiento bastante bueno.
En estos test se hace una distinción entre el modelo que se desarrolla de manera local en el dispositivo y el que se desarrolla en el servidor. Esto sobre todo es importante en materia de privacidad, ya que la IA que se desarrolla de manera local no expone los datos haciendo que se queden totalmente seguros. Pero obviamente aquí la potencia es reducida.
Ante peticiones que son más exigentes, se necesita más potencia que un único chip en un iPhone o en un Mac. Se tiene que optar por servidores externos que son en teoría más potentes. Si bien, toda la información se envía cifrada gracias al sistema Private Cloud Compute que garantiza que tu información no saldrá de ese ámbito privado.
En concreto, en comparación con Phi-3-mini o Mistral se consigue superarlas en un 62% y en un 46% de los casos respectivamente. Esto es algo que tiene mucho mérito porque hablamos que ambos modelos son mucho más grandes y sobre todo potentes. Pero esto no ocurre en el caso del modelo que está en los servidores de Apple para las acciones que se necesitan procesar fuera del dispositivo.
En este caso si que vemos unos resultados algo flojos si lo comparamos con los modelos de OpenAI. Uno de los puntos más importante está en GPT-4 Turbo, donde únicamente el 39,8% de las peticiones se responden mejor con el modelo de Apple. En el resto de los casos o hay empates o lo hace mejor el modelo de OpenAI.
Si hablamos del estudio realizado con los calificadores humanos se puede ver claramente como GPT-4 Turbo ofrece una mejor experiencia en comparativa. Concretamente hablamos de que 28.5% de las peticiones fueron respondidas correctamente por el servidor de Apple por encima de GPT-4 Turbo. Pero en un gran 41,7% ocurre todo lo contrario.
Si observamos los benchamrks con valores absolutos (sin tener en cuenta fallos y errores), también se aprecia claramente como en el campo de la IA local, la IA de Apple está en el primer puesto. Pero eso no ocurre cuando hablamos de la IA en el servidor donde se pasa a estar en un segundo puesto con GPT-4 Turbo por encima, aunque en este caso con poca diferencia. Lo que no sabemos es la diferencia con respecto a GPT-4o.
Estos resultados hacen pensar que Apple ha tenido que recurrir a la empresa que está detrás de los modelos vencedores para poder integrarlos en Siri. Y al final es la decisión más inteligente que han podido tomar al no tener unos resultados que se adecúen a lo que estamos acostumbrados los usuarios ahora mismo. Y todos estamos acostumbrados a una potencia como GPT-4o que ahora también se extrapola al sistema operativo de la compañía.
En el apartado de seguridad si que podemos observar que en la mayoría de las comparativas se consigue ser vencedor con la opción de Apple o al menos un empate. En pocas situaciones hay una "derrota" por parte de AI. Y lo mismo ocurre con la nocividad al ser bastante difícil de 'torear' a la hora pedir algunas peticiones que puede salirse de lo normal.
En Genbeta | Qué significa el punto verde o naranja que sale a veces en la pantalla de tu Mac
Ver 3 comentarios