西安37建站:专注于各类网站建设、seo优化关键词排名、免费网站诊断、竞价托管、分销商城系统建立。微信:1346597247

蜘蛛来没来,教你从0到1分析网站日志!

西安37建站优化——0基础学SEO优化,毫不费力!

当前位置: 首页 » SEO优化 » 蜘蛛来没来,教你从0到1分析网站日志!

蜘蛛来没来,教你从0到1分析网站日志!

西安37建站优化 2017-10-30 11:15:41 星期一 SEO优化 1119 ℃ 0 条评论

上次我们说了关于新网站不收录的解决办法,需要再次了解的同学可详细查看。网站不收录,我们做了提交,但是蜘蛛到底有没有来抓取网页呢?该怎么看?这是本篇文章要解决的问题。

方法1、简单查看蜘蛛有没有来

登录已经验证过的百度站长平台,找到抓取频次

该栏目下分为:抓取频次和抓取时间两个折线图。以西安网站优化为例:可以看到在10月27日的时候抓取频次为1。

抓取的时间为1370毫秒。

当然了,这种方法只是简单的分析查看蜘蛛的动向。更详细的如:蜘蛛抓取了网站上的哪些页面、抓取的http状态、在什么时候抓取、分别抓取了几次等等,这些问题则需要在服务器日志查看。

方法2、查看服务器日志

首先登录自己的ftp,网站日志一般存在log文件夹下,下载想要查看的服务器日志到本地。(这里找不到日志的同学可以问自己的空间商)

这里分享给大家一个分析网站日志的小工具,loghao日志分析工具:http://www.loghao.com/

找到选择文件,将自己本地的网站日志上传上去。这里我上传了10月26日的日志文件,点击分析按钮。

在此页可以看到有一些蜘蛛的数据统计。

Baiduspider蜘蛛(4)|Googlebot蜘蛛(32)|Sogou蜘蛛(0)|Yahoo蜘蛛(0)|360Spider蜘蛛(0)

这里以百度蜘蛛为例,其他的分析方法一样。

2.1、24h

可以在这里看到蜘蛛的抓取时间,这里的数据显示在下午的3点、5点蜘蛛有来过。

2.2、.html

在这里可以看到蜘蛛来过你网站的哪些页面,如图是该网站的4个网站地图。

2.3、200

200代表抓取的http状态码。200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。

以上是关于如何分析网站日志的方法,亲自试试吧~

发表评论

电子邮件地址不会被公开。 必填项已用*标注