证据剖明百度蜘蛛可以爬行纯文本网址 2012-07-12 来源: 卓杰科技(www.zhuojie.net) 浏览:

百度因为抓取到了膳缦沔的网址,并把>也当做网址的一部门,并进行抓取,自然就呈现了404错误。

良久之前我写过文本名目的网址对网站的权重有益处,今天我终于发现了纯文本网址可以吸引百度蜘蛛的证据。

有时辰我们的网站收录或者其他方面呈现异常了,这时辰还得剖析网站日志等,查找原因。而这个工具可以直接查到,百度在抓取你的网站的时辰呈现了哪些错误,便利找到原因。

我今天搜检的时辰发现了有一个404抓取错误,原本抓取的是http://www.zhuojie.net/?*.com/1227.html 可是后面多了个“>”,理论上不会呈现这种链接错误啊。

经由搜索发现,有网站在转载文章的时辰,呈现了如上图的网址,而且是纯文本的网址:

巨匠知道百度站长平台已经对站长开放了,其中有良多有用的功能,搜罗提交网站地图、提交死链接、查看robots等等。其中有一项功能巨匠可能没有太注重,那就是站点抓取异常发芽。

年夜这个例子就可以知道,百度是可以抓取纯文本的网址的,这对泛博seo工作者和互联网年夜业人员是个好动静。

在线咨询

020-89202380