Para aquellos no iniciados en esto de los buscadores, no he podido evitar compartir con ustedes el archivo robots.txt de la Casa Real. Viéndolo se pueden hacer rápidamente una idea de para qué sirve. Básicamente le dice a los bots o arañas (programas que rastrean la web recogiendo información), por ejemplo el Googlebot de Google, qué páginas no incluir en su base de datos asociada.
Me parto.
User-agent: *
Disallow:
Disallow: /_*/
Disallow: /ES/FamiliaReal/Urdangarin/
Disallow: /CA/FamiliaReal/Urdangarin/
Disallow: /EU/FamiliaReal/Urdangarin/
Disallow: /GL/FamiliaReal/Urdangarin/
Disallow: /VA/FamiliaReal/Urdangarin/
Disallow: /EN/FamiliaReal/Urdangarin/
Sitemap: http://www.casareal.es/sitemap.xml
