2、删除整个archive目录返回404状况码，而且在robots中屏障archive目录；

前几天和一位伴侣聊天，互订交流了下对8月末百度算法更新的一些观点。竣事的时辰伴侣让我帮他剖析一下他的新站，网站的问题是快照勾留在8月15日，而且快20天百度没有收录新内容。

巨匠单的扳谈得知，网站上线2个月，每日坚持更新原创内容和外链。自打百度收录后，文章隔天收录，长尾词排名也不错。可是8月19日快照回档到815后，快照再未更新过。经由过水平析这个站的整体结构和内容，发现整站结构清楚了然，并没有严重的结构尚罾υ题，文章内容图文并茂，写的也不错，而且长尾词排名确实不错，这对一个新站来说做的很不错。

为什么快照不更新，新内容不再收录？莫非是百度自身的问题，仍是有其他“肉眼”看不到的症结？这个时辰想起了日志剖析，有的时辰只有经由过程内在看问题。

年夜伴侣处要来了前一天的网站LOG日志，下图是日志剖析工具得出来的蜘蛛概要截图。年夜图上我们可以看到三年夜主流搜索引擎的蜘蛛访谒次数、勾留时刻和总抓取量等信息。

症结找到了，接下来就是若何措置这个问题。因为这个文档归档功能是伴侣采办的一款插件，所以伴侣仍是但愿能够保留这个每日归档栏目，事实下场钱花了得用到实处，不求该栏目能带来流量但却是个有益的填补。刚起头考虑经由过程NOFOLLOW来屏障蜘蛛爬取，可是想来想去仍是不妥，事实下场已经收录的页面仍是给了蜘蛛爬行的余地，又会呈现文中所说的死轮回。

为了验证自己的判定，经由过程Editplus打开了LOG文件，不出所料几年夜蜘蛛在抓取archive目录时陷入了死胡同。 

伴侣这个站属于一个新站，外链不多，整个网站的资讯量也不是很年夜。依据小我的经验剖析，蜘蛛单次抓取量（总抓取量÷访谒次数）达到80-100已经算是一个很是不错的数字了。缘何网站的新内容不收录？

第二步，来看看网站目录的抓取情形。下图是进取了三年夜主流蜘蛛目录抓取Top3目录的一个截图，年夜图上我们可以看到图上的archiver目录的抓取量远远跨越于其他的网站目录。这个数据让我有点不安心了。

年夜伴侣的网站体味到，这是一个每日归档目录，年夜图上我们可以看到的是2010年09月05日返回的当日发布内容为空（伴侣这个站建站才2个多月）。 

经由过程站长工具可以看到，该URL返回的是200状况码。此时心理概略有个底了，蜘蛛在这个目录的爬行必然碰着量悸青。 

1、联系插件开发者修复此BUG；

最后，给了伴侣两条建议：

整个的诊断过程就是这样。良多时辰当我们网站呈现问题的时辰，请不妨打开你的网站LOG日志，细心对比并剖析琅缦沔的数据，将会对你找到问题的地址有很年夜的辅佐。