Stable Difussion mejora su inteligencia artificial con la extensión ControlNet: así funciona y así puedes usarla

Stable Difussion es una de las más avanzadas tecnologías de Inteligencia Artificial a la hora de generar imágenes increíbles a través de una simple idea o frase. Es completamente gratuita y open-source.

Ahora, un nuevo software lanzado puede mejorar sus capacidades aún más. Se trata de ControlNet, una nueva estructura de red y que tiene el objetivo de "controlar los grandes modelos de difusión  preentrenados para que admitan condiciones de entrada adicionales". Es decir, puede modificar la salida de Stable Diffusion para que se  ajuste a más modelos y esto hace que Stable Difussion sea más versátil.

Cómo funciona

Fue presentado por investigadores de Cornell University. Estos explican que los grandes modelos de difusión, como Stable Difussion, pueden ampliarse con redes de control para permitir entradas condicionales como mapas de bordes, mapas de segmentación, puntos clave, etc.

Lo que hace es ofrecer más modelos preentrenados para que el resultado pueda ser más ajustado a lo que quieres. Hay varios modelos disponibles. Por ejemplo, Canny Edge —que detecta bordes—, Open POSE o User Scribble.  Esta última es una alternativa para que puedas dibujar un garabato y de ahí se crea una imagen basada en este.  Un ejemplo de este último modelo mencionado lo tienes en esta foto:

Para usarlo, tienes que descargarla a modo extensión en WebUI. Vete a la pestaña Extensiones y elige la opción de Instalar desde URL, luego pega este enlace en donde dice URL del repositorio git de la extensión: https://github.com/Mikubill/sd-webui-controlnet.

Bing explica qué es ControlNet de forma sencilla

Como ControlNet explica de una forma complicada sus funciones, Carlos Santana, divulgador de Inteligencia Artificial ha decidido preguntarle a Bing que explique sus funciones de una forma sencilla. La misma herramienta de Microsoft reconoce que es un texto complicado y explica que "imagina que tienes un montón de fotos de animales y quieres que una máquina pueda reconocerlo. Una forma de hacerlo es usar una red neuronal"...

El texto habla de combinar dos cosas: la red neuronal y el problema de difusión. ControlNet es como  un control remoto para esta red y se pueden hacer cosas más específicas y variadas con las fotos.