一、网站日志的基本分析方向

1、蜘蛛日志

网站日志分析必不可少的环节就是分析蜘蛛日志，其蜘蛛类型应当囊括当前主流的蜘蛛分类、异常蜘蛛类型、蜘蛛总数。

A、有用的蜘蛛

如百度蜘蛛baiduspider、google蜘蛛googlebot、360蜘蛛360spider、神马蜘蛛yisospider、必应蜘蛛bingbot、头条蜘蛛Bytespider。这些都是有用的蜘蛛。

B、无用的蜘蛛

除却以上提及有用的蜘蛛意外，还应当统计无用蜘蛛类型，并根据其访问频次决定是否应当封禁。

如SemrushBot、AhrefsBot、blexbot、petalbot、mj12bot，包括但不局限于这里列出的蜘蛛分类。

C、其他

所谓其他蜘蛛，指的是以上未列出的蜘蛛类型，应当归类为spider / bot。此类蜘蛛如果访问量巨大，也应当将其排查出来并视情况加入封禁行列。

2、404页汇总

分析网站日志一定少不了分析404错误页，并将相关数据进行汇总按倒叙排列。如上图所示，此处的404错误大多来自一些黑客，此类ip如果是国内ip段可考虑直接封禁。第六个404则是网站已经失效的接口，可提交死链。

二、高级的网站日志分析

高级的网站日志分析相对于基本分析而言更加具有针对性，可以有效提升网站体验、快速发现核心访问页并进行针对性的优化处理。

1、高频访问页分析

汇总高频访问页可以让我们快速发现现阶段排名好、流量高的页面，并进行针对性的优化以期获得更好的排名。

2、高频访问IP分析

高频访问IP的获取目的在于快速发现异常访问ip，如果有条件可以设置监控，发现一个，封禁一个。例如蜘蛛采集，必然是短时间内出现海量的访问，轻则数百数千，重则数万数十万，既在短时间内占用大量服务器性能与带宽，又窃取了资源。

3、高频浏览器类型统计

每个网站都是独一无二的，一个站的访客数据也不能通用于其他站点，浏览器也是如此。发现高频浏览器有助于帮助我们更快的发现潜在客户所使用的浏览器类型，并据此进行针对化处理。

以上数据，即便是基础版的日志，采用人工分析的方式也是不现实的，更何况是高级版，所以我们一定要借用工具。