Archivos robots.txt

10 septiembre 2014

Estudiando las estadísticas de acceso a nuestros servidores me encuentro con que se hacen muchísimas peticiones hacia los archivos robots.txt, que no existen, y he pensado que sería bueno tener algunos.

He creado un archivo de este tipo -empleando una herramienta externa por pura pereza- para los dominios admin.venexma.com y static.venexma.com. Los he instalado a mano tras añadirlos al paquete venexma-albion.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Your post must include a link to this post.

How does this work?
Write a response on your own website and include a link to this post. Then submit your response’s URL here. Your response may appear here after moderation. To update or remove it, edit or delete your original post and submit the same URL again. Learn more about Webmentions.