Configurar correctamente nuestro archivo robots.txt nos permitirá afinar nuestro SEO técnico y optimizar el crawl-budget, para que los buscadores empleen el presupuesto de rastreo en las páginas de nuestro sitio web que nos interesan. ¿Qué es y para qué sirve el robots.txt? El robots.txt es un archivo que se puede incluir en la raíz del […]