El fichero robots.txt es un recurso fundamental para la sitio que desea estar bien indexada por los buscadores como Bing. Opera como una instructivo para los bots, indicándoles qué áreas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html