降权蜘蛛真的存在吗？

tonyh***

百度蜘蛛有多少只呢?真的有降权蜘蛛吗?我们知道互联网的数据非常多，而百度蜘蛛的抓取范围也有限，如果只有一只蜘蛛的话，怎么说呢?就算嚼了炫迈，估计也抓不完。所以大型的搜索引擎都会运用分布式计算，把任务细分，这样每只蜘蛛都会有自己的任务。这点可能被细心的站长们发现了，就会想会不会其中有一只蜘蛛是负责降权的呢?
　　首先我们先来了解一下分布式计算，额，更多资讯可以百度了解一下，年少这里就简单介绍一下百度蜘蛛的分布式抓取策略吧。其实也简单，每只百度蜘蛛都会有相应的任务，当发现一个URL的时候，如果是自己的任务，就开始抓取，如果不是，交给上级，让上级发给做这个任务的百度蜘蛛就行了。
　　那么每只百度蜘蛛是如何确定自己的任务呢?这个要看搜索引擎是如何对网页进行分类的了。常规的网站分类大概是下面这样的。
　　第一种：优秀站点、普通站点、垃圾站点、降权站点和屏蔽(被K)的站点，按质量分级的。
　　第二种：网站首页、网站目录页、网站内容页、网站专题页、视频、图片、新闻、行业资料、其他类型的网络文件(PDF、Word、Excel等)，按网页类型分类。
　　第三种：是按照站点或网页内容所在行业分类。站点级别一般优先。
　　从上面的分类来看，我们可以发现一般中小网站都会有一个固定的百度蜘蛛进行抓取，所以很多站长在分析网站日志的时候发现百度蜘蛛经常是同一段的IP。所以这也造成了很多站长口中所说的降权蜘蛛。下面有一段我在百度搜到的降权蜘蛛的IP分析，大家看看就好，不要当真。
　　123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
　　220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
　　220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。
　　121.14.89.*这个ip段作为度过新站考察期。
　　203.208.60.*这个ip段出现在新站及站点有不正常现象后。
　　210.72.225.*这个ip段不间断巡逻各站。
　　125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
　　220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
　　220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
　　123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
　　220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
　　220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
　　220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
　　123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
　　220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
　　220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
　　注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。
　　220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!
　　咳咳， 这个是我百度搜索“百度蜘蛛IP段详解”搜到的数据，这个发表文章的作者也说了，这些只不过是他管理的站出现的一些IP，个人得到的经验，大家不要盲目相信。仅供参考!!!百度经常更新也不是吃素的，也许今天这只蜘蛛负责降权，明天负责更新快照也说不定了。所以百度蜘蛛不可能只是用这一种任务分发模式。所以说，太认真你就输了，好好做原创，好好发外链，才是王道。那么降权蜘蛛到底是不是真的有呢?这个估计只有干这个的百度工程师才知道吧。http://www.592tm.com.cn