毕节seo外包团队

设为首页 - 加入收藏
您的当前位置:毕节seo外包团队 > 站外推广 > 正文

[79seo]SEO常用术语:什么是robots文件

来源:毕节seo外包团队 编辑:seo外包团队 时间:2020-09-13

搜索引擎使用spider程序中系统会访问网络上的网页并获取网页数据。spider在访问一个网站时,会首先会检验该网站的根域下是否有一个叫做 robots.txt的纯文档,这个文件用于指定spider在您网站上的抓取范围内。您可以在您的网站中创建一个robots.txt,在文件中公开信 该网站中不想被搜索引擎收录的部份或者指定搜索引擎只收录特定的部份。一般情况下, 当网站包含不希望被搜索引擎收录的细节时,才需要使用robots.txt文件。如果希望搜索引擎收录网站上所有细节,不用建立robots.txt文件。点击查看robots文件的文法及准确写法及robots文件需求词语实例

网友评论:

无法在这个位置找到: ajaxfeedback.htm
栏目分类

本网站内容来自于互联网或用户投稿,如有侵权,请联系我们删除点击这里给我发消息