Los robots de Google analizan toda la web continuamente en busca de enlaces para actualizar los registros del buscador. Pero hay veces que los propietarios de sitios web no quieren que se indexen esos enlaces, así que ponen ciertas restricciones en el archivo robots.txt. Por ejemplo, si eres Dropbox, no querrás que Google indexe todos los archivos que tus usuarios comparten a través de Internet.
Cuando un usuario comparte un archivo a través de Dropbox, la dirección es de la forma http://dropbox.com/sh/pongaAquíSuId, y por lo tanto en robots.txt pondremos Disallow: /sh/. Hasta aquí todo muy fácil: los robots de Google llegan y leen el archivo. Si se encuentran con algún enlace hacia dropbox.com/sh/algo, sólo se queda con la dirección y con el título, que se guardan en la base de datos de Google. El robot no lee el contenido del fichero.
Normalmente no podríamos acceder al contenido de esos ficheros desde Google. Sin embargo, según cuenta Chema Alonso gracias al descubrimiento de Alan Brian, sí que quedan algunos rastros en el buscador que se pueden recuperar usando técnicas de hacking con buscadores. La idea es sencilla: simplemente le decimos a Google que nos muestre todos los resultados que tenga indexados en dropbox.com/sh con la consulta site:dropbox.com/sh.
Añadiendo términos de búsqueda podemos encontrar cosas interesantes, como listas de usuarios y contraseñas, algún recibo bancario y documentos "secretos". En mi caso, he llegado a encontrar un guión de cine entre esos archivos. Chema Alonso comentaba que recuperó las diapositivas que había perdido de una de sus charlas. Una mina.
¿Cómo resolver este problema? La teoría es fácil: sólo hay que poner una etiqueta en el contenido de la página para que Google ni siquiera guarde el título ni la URL. Pero como por las reglas de robots.txt los robots no van a analizar el contenido de la página y no van a encontrar la etiqueta noindex. Es un fallo de diseño muy confuso en la forma de indexar de Google.
Eso sí, esto tampoco se puede considerar un fallo de privacidad de Dropbox. Google ha encontrado la URL de estos archivos porque alguien la ha puesto en algún momento en Internet, y los robots de la gran G han llegado a ella. Para lo que sí debería servir este hallazgo es para recordaros que la seguridad por oscuridad, el confiar en que "nunca nadie encontrará esto" no es una buena estrategia, y que debéis evitar en la medida de lo posible compartir cosas sin control por Internet.
Ver 9 comentarios