最近搜索某公司网站上的技术资料,百度/bing都不能工作,纳闷
看了下该网站的robots.txt 明白了
User-Agent: * Disallow: /
参考:文章来源:https://www.toymoban.com/news/detail-654741.html
网站 robots.txt 文件配置方法,如何禁止搜索引擎收录指定网页内容 - 知乎文章来源地址https://www.toymoban.com/news/detail-654741.html
到了这里,关于网站上的网页,无法通过百度和bing搜索引擎来搜索的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!