Kraken es el nuevo benchmark para navegadores creado por Mozilla. Lo anuncia aprovechando la famosa línea de 'Furia de Titanes', "Liberad al Kraken" (mi corazoncito tolkiendili hubiera preferido una referencia al que guardaba la puerta oeste de Moria). Según Mozilla, este benchmark se centra en cargas de trabajo más realistas y desde el punto de vista de las aplicaciones, "a diferencia de Suspider, V8 o Dromaeo". Vamos, que analiza aquellos aspectos en los que después los usuarios "sufren" la lentitud del navegador con más frecuencia.
El objeto de este benchmark es, por tanto, servir de referencia para analizar el progreso de los navegadores de cara a la ejecución de aplicaciones web, en la línea de la moda actual. Además, Mozilla tiene previsto evolucionar este benchmark a corto y medio plazo, ajustando las cargas de trabajo para que sean más reales y variadas. Todo el código de este benchmark es libre y abierto, y como de costumbre, las sugerencias son bienvenidas.
¿Comprobamos cómo se comportan algunos navegadores frente al Kraken? La ejecución del test dura unos diez minutos en un navegador estándar. Hemos hecho unas pruebas y... vaya, parece que el benchmark es imparcial.
Las categorías en que se dividen los benchmarks, de mejor a peor, que se ponen a prueba son:
- Aplicaciones reales
- Aplicaciones modificadas (con entradas y salidas eliminadas, para que se centren en el uso de CPU)
- Kernels de aplicaciones (los fragmentos que componen el núcleo de aplicaciones reales)
- Juego (en el sentido de la criba de Erastótenes, no en el de Plantas vs. Zombies)
- Benchmarks sintéticos (código creado artificialmente para ajustar un perfil de operaciones concretas)
Kraken busca estar lo más cerca posible de la primera opción de la lista.
El test al acabar genera una URL con los datos, que podemos utilizar en otra ejecución del benchmark para crear una comparativa, indicando si la diferencia entre ambas ejecuciones es significativa. Podemos comparar dos rondas del mismo navegador, el mismo navegador en dos máquinas diferentes, dos navegadores distintos... En esta imagen vemos una comparativa entre Firefox y Chrome corriendo sobre la misma máquina. Como se ve, es imparcial porque Chrome 6 vence en muchas pruebas a Firefox 3.6 (menor tiempo de ejecución es un resultado mejor). Aunque lo primero que se echa en falta es un resultado en formato gráfico que ayude a analizar los datos visualmente.
¿Y que tal se ha comportado Internet Explorer 8? Pues no lo sabemos, porque parece que no se lleva bien con Kraken. Al iniciarse cada prueba del benchmark aparece el siguiente mensaje:
Pues claro que es un código que puede hacer que el navegador se ejecute con lentitud... ¡está pensado para eso! La aparición de estos avisos ralentiza la ejecución del código, por lo que aunque tuviéramos la paciencia de pinchar en el botoncito cada vez que se abre el cuadro de diálogo, los tiempos probablemente estarían falseados.
El problema de los benchmarks es el de siempre: cuando se vuelven importantes, los programadores se esfuerzan en optimizar sus aplicaciones para que den buenos resultados en la ejecución del benchmark, más que en que la ejecución de la aplicación en sí mejore. De ahí la importancia de que las cargas del benchmark sean lo más reales posibles: así el esfuerzo por optimizar para el benchmark mejorará también la ejecución de la aplicación en situaciones reales.
Tengo pendiente hacer la prueba con Chrome y Safari sobre la misma máquina, y actualizaré el artículo con los resultados en cuanto pueda. También estoy probando la versión de Chrome para Android que lleva la HTC Desire, pero lleva como una hora y media ejecutándose y no lleva ni un tercio de la prueba. Según Mozilla, las pruebas con Kraken 1.0 indican que Firefox 4 ya es 2.5 veces más rápido que Firefox 3.6.
Sitio oficial | Blog de Mozilla Enlace | Kraken
Ver 8 comentarios