网络上对爬虫的定义就是一个网络爬虫，被称之为网页蜘蛛，网络机器人，在FOAF社区中间，也叫网页的爬取者。是一种按照一定的程序规则抓取网络上内容的，自动的抓取网络上的程序脚本。还有不长使用的蜘蛛，搜索引擎机器人。网络爬虫也能自动的访问网络并将网络内容下载下来的程序脚本，类似机器人，能把别人网站上的信息抓取到自己的服务器上，国过滤，筛选，归纳，整理，排序的过程，当用户搜索相关的页面时就会展示出来。
网络爬虫程序的作用
网络爬虫的英文名字WebSpider，如果把网络比喻成一个蜘蛛网的话，那么Spider就是网上爬行的蜘蛛，网络蜘蛛是通过网页的拦截地址来寻找内容弄个的，网站某一个页面是首页，首先读取的就是首页，找到网页中的其他链接，然后通过这些蜘蛛地址来寻找下一个网页，这样依次的循环下去，直到把网站抓取万。如果把整个网络当成一个网站的话，那么蜘蛛就可以把整个网络内容抓取下来。
网络爬虫就是为了给用户提供信息来源的程序，网络爬虫是按照一定的规则抓取网络上的程序和搅拌，已经被广泛到运用各个网络领域，抓取的内容分为：文档甚至图片、音频、视频等资源，通过相应的技术检索技术进行组织，提供给用户进行查询。搜索引擎营销推广就为中小企业提供了各种的营销推广服务，通过搜索引擎的产品得到了有效的推广。
