Hasta ahora era difícil entender cómo es que Google Sitemaps tenía una herramienta para analizar el estado de los ficheros robots.txt, pero no una que permita crear o guardarlos. Sin embargo, y seguro que a requerimiento de los usuarios, Google Webmaster Tools acaba de lanzar una herramienta que nos permite crear los archivos robots.txt fácilmente y comprobar así, que nuestro sitio es accesible por todos los buscadores, o sólo por aquellos que permitamos.
Para acceder a la herramienta, hay que Iniciar sesión en GWT -> Ingresar en el dominio respectivo -> Menú Herramientas -> Generar archivo robots.txt.
La herramienta es muy intuitiva y fácil de manejar. Luego de descargar el archivo robots.txt, no olviden subirlo al directorio raíz de su site.
Artículo relacionado: Generador de robots.txt
Si te gustó este artículo también te gustará...
Quiero crear un archivo robot para poder navegar automaticamente en internet pero sin estar en la pc.
se entiende?
alguien sabe?
es para esta web http://busca-dor.com/blog
Parece fácil, pero...
Interesante, aunque yo pensaba que hoy en dia las arañas de google no precisaban de los robots sino que ellos solos rastreaban link tras link. De otro modo como era antes, si le facilitabas links en robots.txt probablemente fueran links descolgados sin valor, por eso google decidio desechar el uso de los robots.
Y como puedo proteger el fichero para que no se puedan ver directorios protegidos que se indican en la sección disallow ?