Un fichero robots.txt es utilizado en los sitios web para indicar a los buscadores que páginas web y directorios indexar y cuales no. Más recientemente, se ha añadido una nueva utilidad a estos ficheros, la de indicar la ruta de nuestro archivo sitemap.xml.
Para no entrar en muchos detalles, y si uno tiene problemas de indexación con Google, es bueno recordar las dos maneras de permitir a Google que indexe todo nuestro sitio, sin prohibición alguna:
User-agent: *
Disallow:
ó
User-agent: *
Allow: /
Introduciendo cualquiera de estos dos textos (no ambos juntos), en un archivo de texto (extensión .txt) llamado "robots" y subido a nuestro servidor en el directorio raíz, estamos permitiendo que cualquier buscador escanee e indexe cualquier página web de nuestro sitio. Es sencillo, pero si tienes dificultades, te presentamos una interesante herramienta.
Robots.txt Builder
Robots.txt builder es una sencilla aplicación que nos permite de una manera rápida y hasta gráfica, la correcta creación de nuestro fichero robots.txt.
En la aplicación, debemos introducir el dominio de nuestro sitio web y pulsar en “import”, el sistema automáticamente nos mostrará nuestros paths principales (según Yahoo Site Explorer).
De ellos, seleccionamos a los paths que queramos no sean indexados ó lo añadimos directamente desde un campo de texto. Ahora bien, si no queremos bloquear ningún directorio, damos click en el checkbox.
Luego, copiamos el texto producido en el formulario de arriba y lo pegamos en un archivo texto llamado “robots”,
Finalmente, subimos el fichero robots.txt al directorio raiz del sitio web.
Enlace | Robots.txt builder
Si te gustó este artículo también te gustará...
Que tal buen articulo, me di cuenta que el Robots.txt builder solo aplica a carpetas, me pregunto si tengo archivos en la raiz (ala altura del index) fuera de carpetas, archivos que contienen codigo para los procesos y no quiero que los indexe google, como seria en ese caso ya que yo queria anular la indexacion de unos 3 archivos en raiz pero al importar no me muestran ningun archivo de raiz , sino solo capertas. Gracias.
Hola Angel, cuando no aparece un directorio o fichero lo que debes hacer es añadir la ruta al fichero. En este caso c
Buenas tardes, muy bueno el artículo, quisiera saber si el código robots.txt de mi pagina esta correcto es el siguiente, no tiene restriciones
User-Agent: *
Allow: /
es necesario colocar algo mas, me parede muy poco código pero no se.
Estoy urgido por que google reconosca mi pagina, llevo un mes y nada.
hola a todos he puesto el siguiento roboot
User-agent: *
Disallow:
Sitemap: http://www.jdrcomputer.com/sitemap.xml
está bien, gracias
http://www.jdrcomputer.com/foro-informatica/