站长们每天除了观察站长后台的蜘蛛抓取频次、抓取时间,更详细的蜘蛛访问记录需要在服务器日志中查看。第一次打开网站日志的同学,一定被吓到了,全是代码,而且大都不知道什么意思,头疼!下面本篇将详细详解网站服务器日志的代码。
以上是我截取的部分蜘蛛日志代码,下面将具体分析,大家可以对照自己网站的日志进行分析。
123.125.67.207:来访用户的ip地址,这条日志中的这个ip代表蜘蛛的ip来路,相信大家对这个比较熟悉。
[10/Jan/2018:01:02:18 +0800]:抓取的时间;
GET:请求的方式,有GET和POST两种;
/261.html:蜘蛛来访的网站页面;
HTTP/1.1:http版本;
200:请求的http状态码,200代表请求成功,还有其他的状态码如404、301等等;
10642:抓取的字节数;
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html):用户使用的浏览器是Mozilla/5.0 ;括号里面的 Baiduspider,代表百度蜘蛛。
发表评论