怎样告诉他百度搜索引擎该爬取哪些內容?这一点儿对seo优化很有危害,下边来详细介绍一下下robots文档详细介绍。
最先要掌握什么叫robots文档，例如，在北京优斗士的主页网站地址后边添加“/robots.txt”，就能开启该网站的robots文档。
文档里显示信息的內容是要告诉他百度搜索引擎什么网页页面期待被爬取，什么不期待被爬取。由于网站中有某些无关痛痒的网页页面，如“帮我留言板留言”或“联系电话”等网页页面，他们并不是参加SEO排行，仅仅以便给客户看，这时能够运用robots文档把他们屏蔽掉，即告诉他百度搜索引擎不必爬取该网页页面。
怎样告诉他百度搜索引擎该爬取哪些內容?robots文档详细介绍
蛛蛛爬取网页页面的活力是有限公司的，即它每一次来爬取网站，不容易把网站全部文章内容、全部网页页面一次所有爬取，特别是在是当网站的內容很多时，它每一次只有爬取部分。那麼如何让它在有限公司的時间和活力下每一次爬取大量期待被爬取的內容，进而提高工作效率呢?
这时能够运用robots文档。中小型网站沒有该文档不在乎，但针对中商业网站而言，robots文档至关重要。由于这种网站数据库十分巨大，蛛蛛时候，要像看待最好的朋友相同要给它看最关键的物品，由于这一盆友時间精力有限，每一次来都不可以把全部的物品看完，因此就必须robots文档屏蔽掉某些不相干些网页页面。
融合北京优斗士whudows.com的文章内容而言，例如，我不愿意让百度搜索引擎爬取文章内容，能够在图6-35中然后写“Disallow:/news/120.htm1”，表达严禁百度搜索引擎爬取该网页页面。因此必须要对网站开展robots设定哦。
