接下来按照页堪剖析网站的通例首先剖析了下网站的响应时刻走势，如下图所示：

年夜做seo起头老迈就一向给我灌注贯注：“要做科学的seo，不管流量是涨仍是降都要知道其中来历，而要体味这些同时判定网站流量的走向就必需要靠日志剖析，而不是凭感受的猜测是哪些身分使用流量发生转变”。是以年夜一路头就年夜数据入手，对于网站的数据时实监控，年夜数据中判定网站的问题地址，然后做出响应的改变。这也是我们网站能一向不酿成长年夜流量的直线下降到回升直到年夜涨的一个原因地址。

比来网站的流量一向涨得很是的快，可是网站某一部份的抓取量却直线下降，不外索引量还在不竭的晋升流量也在不竭的上涨。也就因为这样在8月底就发现状取量的下降，但一向被前眼的流量所迷惑没有对抓取下降做个数据剖析，同时也是因为在做一些优化而忽略了抓取量这一块，一向到今天才对这一块的数据做了个初步的剖析，下面就把一个简单的剖析思绪和结不美观分享给巨匠：

首先为了明晰的知道具体哪一天抓取量呈现了年夜的转变，同时和每个月有一个较较着的对比，是以首先统计了下日志老迈6月份到9月17号的天天抓取量如下图：

对于8月份，10号抓取量达到最高点往后抓就瞥绶下降，且一向再也没有回到阿谁至高点，按事理来讲天天网站按期更新多量量的数据，抓取量应该是上升的，可是它在降。而对比下图发现，8月份的26号以前响应时刻很是平稳，而且都斗劲快。年夜这一对比可以声名8月份抓取量的波动和网站的响应速度没有任何关系。

年夜膳缦沔临9月份的剖析可以看出，9月份影响蜘蛛对网站抓取的最较着问题是网站的响应时刻，这一段时刻服跟着流量的上涨，处事器的压力也在上升，导致网站的响应速度下降了良多而影响了蜘蛛对网站的抓取。可是13号起头抓取量还在绞ё衮可能除网站响应速度外还有其它的原因地址。因疵苡锫来剖析了下8月份的数据曲线图：

首先，9月份的响应时刻曲线波动很是的年夜，而抓取量波动也很年夜，而且曲线的波时恰恰相反。 4号起头响应时刻不才降，同时网站的抓取量在往上升，一向到8号响应侍旧说到了最低点在这个上抓取量也上升到最高点年夜9号起头响应时刻上升，抓取量也起头下降，而且一向降，再也淌有回涨过，虽然13号起头网站的响应时刻又下降，可是抓取量仍是一向下降。

综合膳缦沔的两个剖析可以看出近期的抓取量下降主若是两个原因：

因疵苡锫来就剖析了下蜘蛛在8月份对网站抓取所返回的状况码：如下图：

当然这只是初步剖析后得出的两个结论，日志还得继续剖析因为在后续的剖析中还发现比来网站发生了良多垃圾链接，而这些链接的来历可能也是轨范方面呈现问题。所有的问题都年夜IIS日志的剖析中慢慢的浮出水面。 原因找到了，解决方案已经很是简单，征对响应的问题做措置就是了。

年夜上图可以看出，蜘在8月份对网站的抓取过程中呈现了2%的500状况码。而据数据统计，这时2%的数据全数来自于8月11号到13号。也就是嗣魅这三天网站呈现过严重的网站内部错误，处事器不能完成请求。

是以剖析了下在8月10号前后对网站的改动：经由过程对网站代码的剖析（因为笔手艺的，网站代码的改动时刻很轻易找出），发此刻8月11号的时辰网站添加了一个功能，而这个功能取数涉及三张表，而在取数时忽略了一个环节，是以在网军功能更新后的三天内发生了良多错误页面直到三河汉发现才改失踪。

年夜膳缦沔两个图对比剖析：

1、网站访谒量年夜导致响应速度下降。

2、网站内部的错误导致蜘蛛对网站发生一个新的晦气的判定。

按照这个统计图可以看出，在6月抓取量仍是正常的波动，同时七月底抓取上有较着的上升，可是8月10号起头往下波动后就再也没有回到原本的至高点。同时9月8号摆布起头呈直线下降趋向，年夜这个图就可以初步的看出，网站在7月26号起头做过对抓取方面的优化，同时10如不美观属正常波动的话那么11号12号摆布网站应该做过调整，而这个调整是影响蜘蛛对网站的抓取的。网站年夜9月4号起头抓取量上升，同时8号起头下降，这两个时刻点也是有待去剖析的。

作者：邱胜标

原文地址：海角独行的博客

注：相关网站培植技巧阅读请移步到建站教程频道。