体味事理就很轻易理解，搜索引擎借助蜘蛛在互联网这张年夜网中搜寻“猎物”，它独一所能依据的线索就是链接了，找到新的链接后，按照复杂的算法最终对网 站进行排名，储存在数据库中。良多网站可能会因为网站结构杂乱失踪去蜘蛛到访的机缘，然而蜘蛛不访谒网站的身分有良多，下面我们一路总结一下：

图片、flash等内容过多

网站死链接过多

网站代码复杂

我们可以想象，蜘蛛兴致勃勃的来到你的网站，起头逐个链接的搜寻，觉得发现了一堆好的内容，然而却是一堆打不开的链接等着她，一次、两次、三次，每次 来都是这种情形，所以她生气了，就再也不会访谒你的页面了。年夜部门的网站都存在死链接，只要我们能够实时的发现并断根失踪就没有问题了，你可以操作强年夜的 xenu，也可以查看你的网站日志，发现返回404状况码的一律断根。

良多站长都有查看网站日志的习惯，这么做的首要目的就是为了剖析蜘蛛爬行网站的情形，当然其中年夜都站长也只是简单的体味一下当天蜘蛛爬行的次数，这一 点就足够发现问题了。有时辰，我们会感受自己的网站已经相当完美了，而正常优化过程中，蜘蛛却对此不伤风，让人很是焦心。

上图是用xenu扫描网站时的界面。

网站地图错误

外聊暌闺nofollow

之所以蜘蛛能够成功的找加入访谒你的站点，是因为其他网站上存在你网站的链接。想要蜘蛛更频仍的惠临，在成立外链时就应该考虑外链网站权重，收录数越 年夜、PR质ё俳高，快照更新越快的网站权重就越高。此外有些无良站长在做友情链接时，会有意设置nofollow，这样的外链在蜘蛛眼里形同虚设，如不美观你网站的外聊暌剐这种现象，请实时撤消。

不得不说，搜索引擎成长到此刻，已经斗劲的智能化了，去年google就推出了图片搜索功能，能够剖析图片的色彩、像素比例而找到图片的出处。然而这 项手艺对于搜索引擎完全的识别图片中的信息还有不小的差距，而良多站长或是不懂得seo，或是考虑网站美不美观和内容丰硕，往往会在页面中嵌入年夜量高清 图片、flash，即使你的网站内容再好，蜘蛛也无法知道，只能绕道而行了。此刻收集上有良多模拟蜘蛛抓取的工具，有近似情形的网站站长可以发芽一下自己 网站的信息，看看蜘蛛能够发现的信息和人眼看到的有多年夜差距。

网站培植中，代码优化很是主要，冗长代码对网站无任何意义，而且还会影响打开速度和搜索引擎蜘蛛的判定。

网站地图是搜索引擎周全熟悉网站的好工具，对于蜘蛛而言，网站地图就像混名册，好的网站地图能让蜘蛛很有指向性的访谒网站中的任何页面。所以，我们在 建造网站地图时就需要谨严行事了。收集上也有良多建造网站地图的工具，为了确保万无一失踪，巨匠也可以作为访客进行访谒来加以验证。

网站逻辑结构复杂

正确的网站逻辑结构应该是扁平状的树形结构，也就是说，蜘蛛经由过程首页访谒，能够达到任何一个栏目页，经由过程栏目页又能达到任何一个内容页，这个次数应该被限制在3次以内（较年夜的网站可以多几层）。如不美观网站条理太多，网站权重又不够高，蜘蛛就没有乐趣去一层层的搜寻了。