上次我们说了关于新网站不收录的解决办法,需要再次了解的同学可详细查看。网站不收录,我们做了提交,但是蜘蛛到底有没有来抓取网页呢?该怎么看?这是本篇文章要解决的问题。
方法1、简单查看蜘蛛有没有来
登录已经验证过的百度站长平台,找到抓取频次。
该栏目下分为:抓取频次和抓取时间两个折线图。以西安网站优化为例:可以看到在10月27日的时候抓取频次为1。
抓取的时间为1370毫秒。
当然了,这种方法只是简单的分析查看蜘蛛的动向。更详细的如:蜘蛛抓取了网站上的哪些页面、抓取的http状态、在什么时候抓取、分别抓取了几次等等,这些问题则需要在服务器日志查看。
方法2、查看服务器日志
首先登录自己的ftp,网站日志一般存在log文件夹下,下载想要查看的服务器日志到本地。(这里找不到日志的同学可以问自己的空间商)
这里分享给大家一个分析网站日志的小工具,loghao日志分析工具:http://www.loghao.com/
找到选择文件,将自己本地的网站日志上传上去。这里我上传了10月26日的日志文件,点击分析按钮。
在此页可以看到有一些蜘蛛的数据统计。
Baiduspider蜘蛛(4)|Googlebot蜘蛛(32)|Sogou蜘蛛(0)|Yahoo蜘蛛(0)|360Spider蜘蛛(0)
这里以百度蜘蛛为例,其他的分析方法一样。
2.1、24h
可以在这里看到蜘蛛的抓取时间,这里的数据显示在下午的3点、5点蜘蛛有来过。
2.2、.html
在这里可以看到蜘蛛来过你网站的哪些页面,如图是该网站的4个网站地图。
2.3、200
200代表抓取的http状态码。200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。
以上是关于如何分析网站日志的方法,亲自试试吧~
发表评论