发布于 2018.10.09rebots
搜索引擎通过一种程序“蜘蛛”（又称 spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件 robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过 robots.txt 指定使搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是 robots.txt。 引自百度百科…
发布于 2018.10.09rebots
搜索引擎通过一种程序“蜘蛛”（又称 spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件 robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过 robots.txt 指定使搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是 robots.txt。 引自百度百科…