¿Por qué es importante optimizar tu archivo Robots.txt? Blog de SEO

08.03.2013

¿Por qué es importante optimizar tu archivo Robots.txt?

Ya hemos hablado en alguna ocasión del archivo Robots.txt que todos deberíamos tener en nuestra página web. Este archivo, como ya hemos explicado, indica a los buscadores qué es lo que quieres que vean y qué es lo que no. Por eso es bastante importante que hagamos un buen trabajo a la hora de optimizar este archivo ya que de él pueden depender muchas cosas que afectan al posicionamiento, como por ejemplo el maldito contenido duplicado tan recurrente en WordPress.

Entonces, lo primero que tenemos que saber es qué es lo que hace por nosotros este archivo tan pequeñito pero tan relevante:

  • Impide el acceso a robots maliciosos. Aunque este archivo esté precisamente para permitir el acceso también hay otros “robots” por el mundo de la red que pueden sobrecargar nuestra página o utilizarla para temas que no nos interesan o que utilizan nuestra página para hacer spam.
  • Reducir el trabajo del servidor. Hay robots que se pasan el día visitando nuestra página y, por ende, terminan sobrecargando al servidor. En el archivo Robots.txt podemos decirle a cada robot el tiempo que tiene que esperar para volver a indexar nuestra página.
  • Prohibir el acceso a determinadas zonas. Por ejemplo, puedes decirle al robot que no vaya a tu zona de /wp-admin ya que ahí no hay nada que rastrear y de paso, añades un paso más de seguridad a tu web.
  • Evitar el contenido duplicado. Como decíamos, uno de los pasos más importantes ya que al evitar este contenido (que puede surgir por las categorías del blog o por las propias etiquetas) Google podría posicionarnos bastante mejor de lo que estamos en el momento.
  • Poner un sitemap. Los sitemap, como bien sabéis, son bastante relevantes para el posicionamiento de nuestra página por lo que podemos poner directamente la dirección del nuestro en el archivo robots.txt para hacerlo más fácil.
Hay 2 comentarios para la entrada “¿Por qué es importante optimizar tu archivo Robots.txt?”
Deja tu comentario

(requerido)

(requerido)




Condiciones Generales de Uso y Aviso Legal - Política de Privacidad - Contacto

Copyright © 2011 Nicripsia Internet SL. CIF: B54127337.
Todos los derechos reservados.

Red de blogs