Archivos robots.txt

10 septiembre 2014

Estudiando las estadísticas de acceso a nuestros servidores me encuentro con que se hacen muchísimas peticiones hacia los archivos robots.txt, que no existen, y he pensado que sería bueno tener algunos.

He creado un archivo de este tipo -empleando una herramienta externa por pura pereza- para los dominios admin.venexma.com y static.venexma.com. Los he instalado a mano tras añadirlos al paquete venexma-albion.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Find out more about Webmentions.)