网站日志来确定百度蜘蛛的真实性

网站日志来确定百度蜘蛛的真实性

我们可以查看企业网站系统日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +)来爬行就是我们的网页。百度外推自然排名位:每个被百度收录的网页,在百度上都存在一个纯文本的备案,称为‘百度快照’,外推需要做的就是把自然排名位占据的越多越好。秒收秒排外推的平台多种多样,有分类信息站、商务网站、问答博客、社交微博、社区论坛等等。选择的时候要看它的权重、收录、排名、浏览人群等来做出判断,不然你就是在做无用功。权重蜘蛛池PR值是Google用于标识网页的等级、重要性、网站的好坏的重要标准之一。级别从0到10级为满分。大家对于现在都知道他们有些站长工具进行或者数据采集工作程序,冒充百度蜘蛛来爬行我们的网站,那么需要我们应该怎么能够判断爬行我们学习网站的是不是没有真正的百度蜘蛛呢。

其实很简单,如果你使用的是Windows操作系统,您可以使用Windows命令行命令,tracert命令,以确定是否唯一真正的百度蜘蛛。

首先进行查看自己百度蜘蛛的IP,然后通过点击学生开始发展运行,输入cmd,打开命令行,然后根据输入tracert 61.135.186.12,这里61.135.186.12代表企业网站系统日志里的百度蜘蛛的IP,那么我们可以直接看到问题如下的内容:

如果有crawl.baidu.com内容,那么说明的就是真实的百度蜘蛛,比如假替换。

上面的截图包含广告( baiduspider-ad-61-135-186-12.crawl.baidu.com ) ,百度的蜘蛛应该用它来抓取与广告相匹配的页面。

如果是真,那么它类似于百度蜘蛛(baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23])结果是,真正的百度蜘蛛。

经过学生观察LiboSEO自己企业网站的百度网络蜘蛛IP并经过系统测试可以得出:IP范围在220.181.108.11 ~ 220.181.108.210 之间和123.125.71.11 ~ 123.125.71.161之间的都是一个真正的百度知道蜘蛛IP。这样记录下我们经常见的百度就是蜘蛛IP,方便用户一眼就看出工作日志里的是否能够真正的百度发现蜘蛛。

网站日志来确定百度蜘蛛的真实性插图

THE END
喜欢就支持以下吧
点赞0
分享
评论 抢沙发