最新消息:本站承接上海SEO优化,上海网站优化,上海seo诊断,上海关键词排名顾问等业务,详询咨询QQ:791824614。

什么是网站robots.txt文件?robots用途以及写法

SEO基础知识 逍遥 1240浏览 0评论

robots.txt文件概念:

上海袁飞SEO

对于刚接触上海SEO的新手许多都不明白robots.txt是为何物,其实许多网站我们都可以看看他们的robot.txt文件的设置,比如我的是:http://www.firstym.cn/robots.txt,大家可以打开这个链接看下,其实是一个纯文本txt文件,主要是为百度蜘蛛准备的,与用户关系不大,它是百度蜘蛛访问网站首先查看的文件,就是网站和蜘蛛的一个协议,告诉哪些网页可收录,哪些不允许收录,在根目录下放置一个robots.txt是对搜索引擎有好的表现。

robots文件用途:

robots.txt是百度蜘蛛会遵循协议,通过根目录创建的robots.txt,可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站可以自行控制网站哪些被百度蜘蛛收录,或指定百度蜘蛛能收录指定的内容。当百度蜘蛛访问站点时,首先它会检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就在该文件中的限制内容以外访问。

robots一般屏蔽什么:

一般屏蔽隐私页面,后台登陆页面,缓存页面,图片目录,css目录,模板页面等内容,或者屏蔽一些不想传递权重的页面可以通过Disallow命令来进行设置。

robots 设置的格式:

User-agent: 定义搜索引擎的类型;

Crawl-delay: 定义抓取延迟

Disallow:定义禁止搜索引擎收录的地址

Allow: 定义允许搜索引擎收录的地址

我是上海袁飞,设置好网站的robots对于SEO优化是很有好处的,我们平时要多注意一些细节性的东西,细节决定成败,就像海尔集团总裁张瑞敏有一句名言:“把每一件简单的事做好就是不简单,把每一件平凡的事做好就是不平凡。”

转载请注明:上海SEO » 什么是网站robots.txt文件?robots用途以及写法

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址