0536-2110238

网站不收录可能是因为robots文件没设置好

发表日期:2020-09-03   作者:   浏览:65   

    在网站优化这一块里面,robots文件的设置是占据很重要的位置的。robots文件是什么?它是网站跟爬虫间的协议,也就是说你的网站那些内容想被爬取,哪些内容不想被爬取都是通过robots文件来告诉蜘蛛的。当搜索蜘蛛去访问一个站点的时候它会首先检查该站点根目录下是否存在robots.txt。
    搜索引擎自动访问互联网上的网页并且获取网页信息是通过一种叫做robot的程序,又称spider,也就是我们经常说的蜘蛛。
    而robots文件就是站长和蜘蛛之间达成的一个协议或声明,在这个文件中就声明了网站中不想被robot访问的部分,这样该网站的部分或全部内容就可以不被搜索引擎收录,或者搜索引擎只收录指定的内容。
    注意:robots.txt协议并不是一个规范,只是一种约定俗成,所以并不能保证网站的隐私。