robots.txt相关文章

06-09 子不语 阅读(513) 喜欢(0) 评论(0)

作为一种“防君子，不妨小人”的网络协议，robots.txt文件可以很好的帮助我们引导搜索引擎蜘蛛对我们网站内容的收录并保护我们网站的部分私密内容不被搜索引擎索引，但是近几年来部分大型网站为了保护自己的垄断地位通过robots协议阻止其他人...

robots.txtSEO搜索引擎