基础教程robots.txt文件设置书写 Robots搜索引擎协议 一.什么是robots协议？ 答：Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），Robots协议（robots.txt文件）是一个文本文件，使用任何一个常见的文本编辑... 韩非 9年前 (2015-06-09) 3707℃ 0评论 8喜欢
