本文目录一览：
- 1、蜘蛛爬虫的原理和作用
- 2、蜘蛛的爬行特点？
- 3、蜘蛛是怎样爬行的？
- 4、请问蜘蛛是怎么爬行的，腿部结构怎么样啊？
- 5、百度蜘蛛的爬行规律有哪些？
- 6、网络爬虫（蜘蛛）有什么危害，若自己做网站是否要防止网络爬虫？
蜘蛛爬虫的原理和作用
关于搜索引擎的大话还是少说些，下面开始正文搜索引擎蜘蛛爬虫原理：
1 聚焦爬虫工作原理及关键技术概述
网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。
2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1） 预先给定的初始抓取种子样本；
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3） 通过用户行为确定的抓取目标样例，分为：
a) 用户浏览过程中显示标注的抓取样本；
b) 通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
现有的聚焦爬虫对抓取目标的描述或定义可以分为基于目标网页特征，基于目标数据模式和基于领域概念三种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；（3）通过用户行为确定的抓取目标样例。其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。
基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。
3 网页搜索策略
网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
3.1 广度优先搜索策略
广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。
3.2 最佳优先搜索策略
最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜索算法。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。
4 网页分析算法
网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。
4.1 基于网络拓扑的分析算法
基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
4.1.1 网页(Webpage)粒度的分析算法
PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。
基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的链接称为反向链接。
4.1.2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨论了在分布式情况下，通过对同一个域名下不同主机、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
4.1.3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Blocklevel)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。于是，在pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为Wb=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。
4.2 基于网页内容的网页分析算法
基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超链接为主的无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。
蜘蛛的爬行特点？
蜘蛛无复眼，头胸部有附肢6对，第一、二对属头部附肢，其中第一对为螯肢多为2节，基部膨大部分为螯节，端部尖细部分为螯牙，牙为管状，螯节内或头胸部内有毒腺，其分泌的毒液即由此导出。第二对附肢称为脚须，形如步足，但只具6节，基节近口部形成颚状突起，可助摄食，雌蛛末节无大变化，而雄蛛脚须末节则特化为生殖辅助器官，具有储精、传精结构，称触肢器。第三至六对附肢为步足，由7节组成，末端有爪，爪下还有硬毛一丛，故适于在光滑的物体上爬行。
蜘蛛是怎样爬行的？
小小的蜘蛛有着灵巧而复杂的身体结构，无愧于食肉动物的称号。蜘蛛的身体简单地分为头胸部和腹部两部分，中间有细小的腰部连接。头胸部包括了前肢部分、头部和胸部。腹部的纺丝器是蜘蛛吐丝的器官。蜘蛛共有八条分节的腿，爬行灵活无比。
蜘蛛的眼睛在头部的前方，大部分的蜘蛛有八只大小不一的眼睛，有一些蜘蛛是六只眼睛，还有少部分蜘蛛没有眼睛，或者有2个、4个或12个，科学家还不知道为什么蜘蛛的眼睛如此丰富多彩。虽然蜘蛛有许多眼睛，但它的视力却很一般，看到的东西总是很模糊，可以说蜘蛛是一个可怜的近视眼。
蜘蛛的触肢用来抓住猎物，螯肢能灵活地上下（比如捕鸟蛛）或平移（大多数蜘蛛）。平移能使颚的角度张得更大，所以小蜘蛛也能叼住比它们身体大的猎物。
蜘蛛通过丝囊尖端的突起分泌粘液，这种粘液一遇空气即可凝成很细的丝。蜘蛛的腹部有六种腺体；称为吐丝器。各种腺体产生不同类型蛛丝，腺体顶端有喷丝头，其上有数千只小孔，喷出的液体一遇空气即凝结成黏性强、张力大的蜘丝。据说一千根蜘丝合并后比人的头发丝还要细十分之一。蜘丝由一种丝纤朊蛋白质组成。就特定的直径来说，蛛丝的抗张强度比钢还要大。
请问蜘蛛是怎么爬行的，腿部结构怎么样啊？
蜘蛛通过心脏将血液压入附肢内，通过改变压强来控制附肢张开的程度。
不同蜘蛛爬行的姿态是不同的，一般是同一侧的腿轮流抬起落下。
百度蜘蛛的爬行规律有哪些？
百度蜘蛛的爬行是有规律的，按照蜘蛛的规律更新网站可以达到事半功倍的效果：
星期一：看了看网站的排名情况，变化不是很大，所以站长们最好在今天多加些外链，而且要多发表些文章。
星期二： 那些网站没有更新内容的站长要注意了，百度蜘蛛会在今天来一次，如果蜘蛛来了没食物吃，时间久了，后果是很严重的。
星期三： 今天，百度还有一次小更新，但是星期三的排名并不是很准确的，所以作为站长的你可不能心急，应该等等，不要太在乎今天的排名。
星期四： 星期四是个非常重要的日子，今天的更新将会决定你网站一周的排名，同时是对星期三的排名进行更正。今天更新的变化会非常大，如果你的排名真的掉了，那就只有等下个星期努力了，这一个星期你的网站都不会有好的排名了。
星期五： 明天是周末，今天没有什么事情，你终于可以放松下心情。
星期六：呵呵，今天也有不能忽视，今天或许你会高兴，因为这次会对周四的排名情况作下补充，理顺一下，但绝对不会向周三那样混乱。
星期天：因为很多人都放假了，互联网的更新量减少了，所以百度蜘蛛会显得不够吃，所以加紧更新，加外链吧！
网络爬虫（蜘蛛）有什么危害，若自己做网站是否要防止网络爬虫？
一般情况我们都是喜欢让蜘蛛过来爬网站的，这样可以让网站更利收录，更新快照的，一般的网站是不会遇到被蜘蛛爬行次数过来而导致服务器不稳定的，我们现在很多做优化的，都是在想尽办法让蜘蛛过来爬行的哦！ 嘉兴七彩光电科技有限公司--SEO部 小李，希望可以帮到您哦！