Qué es el archivo Robots.txt Blog de SEO

23.03.2012

Qué es el archivo Robots.txt

Una de las primeras cosas que nos enfrentamos al tratar de aprender algo sobre posicionamiento y SEO no es otra que las palabras desconocidas o los términos extraños. Uno de los términos es el archivo “Robots.txt” que veremos nombrado en múltiples páginas web sobre optimización en buscadores. Para ser claro, en este archivo (que no es más que un documento de texto que NO HEMOS de modificar a la ligera) se encuentra la información con la que nuestra página web se muestra ante los buscadores. Pero aún hay más.

El fichero Robots.txt se encuentra alojado en nuestro servidor. Esto, para nosotros, vendría a ser el Filezilla o cualquier otro FTP que utilicemos. Allá donde este alojada nuestra página web, allá se encontrará este archivo. Cuando publiquemos nuestra página web, los motores de búsqueda lo encontrarán y analizarán sacando de él la información relevante que nosotros le hayamos dado a ese fichero.

Además, en este archivo le podremos decir cosas a los robots de los buscadores: las partes que deben indexar en sus directorios y las que no o las partes que no deberán ser accesibles para nadie junto. Para lograrlo, este archivo viene con una serie de comandos que son los que el buscador localiza y desde donde recibe las órdenes:

  • Disallow: Este es, precismente, el que le dice al buscador qué carpetas de nuestro servidor queremos bloquear.
  • Allow: Justo lo contrario, dónde le indicamos qué es lo que debe coger.
  • User-agent: es la forma en que nos referimos al robot del buscador al que nos estamos dirigiendo.

Lo normal es que los habituales gestores de contenidos (WordPress o Joomla) ya vengan optimizados para este tipo de trabajos pero, por si acaso, deberemos asegurarnos que al menos en donde pone User-Agent aparezca, a continuación y seguido de dos puntos un asterisco. Con lo que veríamos algo así:

  • User-Agent: *

Con este simple comando le estamos diciendo al buscador que puede coger todo lo que haya en nuestra página web e indexarlo. Una medida que, probablemente tendremos que cambiar conforme nuestra página vaya creciendo pero que para una web básica puede ser una forma perfecta de comenzar.

Hay 3 comentarios para la entrada “Qué es el archivo Robots.txt”
  • BurbujasWeb SEO dice:

    En el caso de ciertos user-agent, puede ser interesante bloquearlos no con este fichero pero desde el servidor.

  • Alexander silva dice:

    Buenos DIas…Google es una herramienta muy poderosa y que debemos estudiar usualmente. Los algoritmos de Google cambian constantemente y debemos de estar cambiando algunas cosas en nuestra web y en nuestro Seo. Yo personalmente todos los dias leo mucha informacion sobre google y por esto my web esta muy bien posecionada. Gracias a todas las personas que colaboran con la informacion de seo y google en la red.

  • Silvana dice:

    quisiera por favor saber los pasos para editar el archivo robots.txt para permitir que el rastreador de AdSense acceda a páginas bloqueadas.
    Para ello,debo buscar el archivo robots.txt y añadir las dos líneas de texto siguientes en la parte superior:

    User-agent: Mediapartners-Google
    Disallow:

    La verdad es que nose como hacerlo,donde edito el
    archivo robots.txt
    Ayuda y gracias

Deja tu comentario

(requerido)

(requerido)




Condiciones Generales de Uso y Aviso Legal - Política de Privacidad - Contacto

Copyright © 2011 Nicripsia Internet SL. CIF: B54127337.
Todos los derechos reservados.

Red de blogs