NoIndex del robots.txt

http://javiercasares.com/blog/noindex-robots-txt/

¿Te has preguntado si tu fichero robots.txt aparece en Google? La respuesta es que, en principio, sí, puede aparecer. Puedes hacer una prueba con una consulta similar a esta [site:javiercasares.com inurl:”robots.txt”].
Es curioso que un fichero que en principio sólo deberían leer los propios rastreadores aparezca en los resultados de búsqueda y que, por norma general nadie se preocupe de evitar que se indexe… pero ¿es posible no indexar este fichero? La respuesta es simple: sí.
Para eliminar de los resultados de búsqueda este fichero robots.txt tenemos dos opciones:

Eliminarlo desde el propio robots.txt, es decir, añadir una línea Disallow: /robots.txt.
Eliminarlo desde una cabecera HTTP, como X-Robots-Tag: noindex.

Personalmente recomiendo el uso de la segunda opción, ya que el hecho de aplicar un “noindex” implica que sí pueda ser leído pero no mostrado, y la primera, en algún otro buscador, podría ser que no se permitiera su lectura en una siguiente actualización.

Enviado por gReader

Anuncios
Minientrada | Esta entrada fue publicada en SEO. Guarda el enlace permanente.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s