使用GoAccess 分析Web日志

服务器 struggling 10155次浏览 1个评论

GoAccess 是一款用于Apache或者Nginx的命令行日志分析器和交互式查看器。使用这款工具,你不仅可以浏览到之前提及的相关数据,还可以通过分析网站服务器日志来进一步挖掘数据 – 而且这一切都是在一个终端窗口实时输出的,个人感觉挺好用的,在此为大家推荐一下。

一,安装GoAccess

安装goaccess前需要安装其依赖包,可以在goaccess的官网上找到依赖包 http://goaccess.io/ ,以下是各系统所需的依赖包。

GoAccess Dependencies

Distro NCurses GLib >= 2.0.0 GeoIP (optional) Tokyo Cabinet (optional)
Ubuntu/Debian libncursesw5-dev libglib2.0-dev libgeoip-dev libtokyocabinet-dev
Fedora/RHEL/CentOS ncurses-devel glib2-devel geoip-devel tokyocabinet-devel
Arch Linux ncurses glib2 geoip compile from source
Gentoo sys-libs/ncurses dev-libs/glib:2 dev-libs/geoip dev-db/tokyocabinet

 

根据自己的系统先安装好依赖包,这些包都是系统有的只需手动安装。
最后使用:

<code>
[root@www ~]# yum install -y goaccess
</code>

或者

<code>
[root@www ~]# apt-get install -y goaccess
</code>

也可以自己源码进行安装,可以在以上网站中下载源码。

二,运行 GoAccess

使用GoAccess时,需要对它指定你的Apache访问日志,我是在CentOS6.x上面安装的,以下只说明此版本的用法,其他类似。

<code>
[root@www ~]# goaccess -f /var/log/httpd/access_log 
</code>

当你第一次启动GoAccess,你将会看到如下的屏幕中选择日期和日志格式。你可以按空格键进行选择,并按F10确认。至于日期和日志格式,你可能需要参考Apache 文档来刷新你的记忆。

QQ图片20150517235423

可以依据自己爱好来选择,我选择常用的格式。

然后会看到以下画面,

QQ图片20150517235733

下面解释各项的意义。

三,详解日志文件

你可以按向下的箭头滚动页面,你会发现以下区域,它们是按请求排序的。这里提及的目录顺序可能会根据你的发行版或者你所选的安装方式(从源和库)不同而不同:

1,每天唯一访客(来自同样IP、同一日期和同一浏览器的请求被认为是是唯一访问)

<code>
 1 - Unique visitors per day - Including spiders                                                                          Total: 5/5
 Hits having the same IP, date and agent are a unique visit.

  1 12.50%      0.0  B 14/May/2015 |||||||||||||||||||||||||||||||||||||||||||||||||
  1 12.50%      0.0  B 13/May/2015 |||||||||||||||||||||||||||||||||||||||||||||||||
  2 25.00%      0.0  B 12/May/2015 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  2 25.00%      0.0  B 11/May/2015 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  2 25.00%      0.0  B 10/May/2015 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
</code>

2,请求的文件(网页URL)

<code>
2 - Requested files (Pages-URL)                                                                                        Total: 46/46
 Top Requested Files sorted by hits - [time served] [protocol] [method]

  70 13.18%      0.0  B HTTP/1.1 GET /
  41 7.72%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/style.css?ver=1.0
  29 5.46%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/timthumb.php?src=http://vbird.dic.ksu.edu.tw/linux_server/0110network_
  27 5.08%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/js/jquery.js?ver=1.0
  25 4.71%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/timthumb.php?src=http://192.168.2.101/wp-content/uploads/2015/04/dis
  23 4.33%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/timthumb.php?src=http://192.168.2.101/wp-content/themes/yusi1.0/img/pi
  22 4.14%       0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/timthumb.php?src=http://192.168.2.101/wp-content/themes/yusi1.0/img/pi
</code>

3,请求的静态文件(例如,.png文件,.js文件等等)

<code>
 3 - Requested static files (e.g., png, js, css, etc.)                                                                    Total: 7/7
 Top Static Files sorted by hits - [time served] [protocol] [method]

  4 0.75%      0.0  B HTTP/1.1 GET /wp-content/uploads/2015/04/dis﻾H4﻾I-300x162.jpg
  4 0.75%      0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/js/html5.js
  4 0.75%      0.0  B HTTP/1.1 GET /wp-content/uploads/2015/04/dis﻾H1﻾I-300x162.jpg
  4 0.75%      0.0  B HTTP/1.1 GET /wp-content/uploads/2015/04/dis﻾H2﻾I-300x162.jpg
  4 0.75%      0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/share.css
  3 0.56%      0.0  B HTTP/1.1 GET /wp-content/themes/yusi1.0/img/default.png
  3 0.56%      0.0  B HTTP/1.1 GET /wp-content/uploads/2015/04/dis﻾H5﻾I-300x162.jpg
</code>

4,HTTP 404 未找到的响应代码

<code>
 4 - HTTP 404 Not Found URLs                                                                                              Total: 5/5
 Top 404 Not Found URLs sorted by hits - [time served] [protocol] [method]

  14 2.64%      0.0  B HTTP/1.1 GET /
  8  1.51%      0.0  B HTTP/1.1 GET /favicon.ico
  6  1.13%      0.0  B HTTP/1.1 GET /forum.php
  1  0.19%      0.0  B HTTP/1.1 GET /awstates/
  1  0.19%      0.0  B HTTP/1.1 GET /awstates
</code>

5,主机地址(客户端ip地址)

<code>
5 - Hosts                                                                                                                Total: 8/8
 Top Hosts sorted by hits - [bandwidth] [time served]

  418 78.72%      0.0  B 192.168.2.168 |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  64  12.05%      0.0  B 192.168.2.119 ||||||||||||||
  34  6.40%       0.0  B 192.168.2.101 |||||||
  6   1.13%       0.0  B 192.168.0.210 |
  5   0.94%       0.0  B 192.168.0.70  |
  2   0.38%       0.0  B 192.168.0.71  |
  1   0.19%       0.0  B 192.168.0.211 |
</code>

6,操作系统

<code>
 6 - Operating Systems                                                                                                    Total: 1/1
 Top Operating Systems sorted by unique visitors

  8 100.00% Unknown ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
</code>

7,浏览器

<code>
7 - Browsers                                                                                                             Total: 1/1
 Top Browsers sorted by unique visitors

  8 100.00% Unknown ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
</code>

8,引荐网址

<code>
 8 - Referrers URLs                                                                                                       Total: 0/0
 Top Requested Referrers sorted by hits
</code>

9,参考网站

<code>
 9 - Referring Sites                                                                                                      Total: 0/0
 Top Referring Sites sorted by hits
</code>

,10,来自谷歌搜索引擎的前几位的关键字

<code>
 10 - Keyphrases from Google's search engine                                                                              Total: 0/0
 Top Keyphrases sorted by hits
</code>

11,HTTP 状态代码

<code>
11 - HTTP Status Codes                                                                                                   Total: 7/7
 Top HTTP Status Codes sorted by hits

  294 55.37% 4xx Client Error
  123 23.16% 2xx Success
  91  17.14% 3xx Redirection
  23  4.33%  5xx Server Error
</code>

以上为文件的全部信息。

如果想要在每天的凌晨分析下日志文件,不用手动去选择时间格式,可以保存一份在线的分析文件或打印出来,生成一个HTML报告,只需将其添加到定时任务中,第二天再做分析,然后,用web浏览器来将这份报告打开即可,很方便的。

<code>
[root@www ~]# goaccess --date-format="%d/%b/%Y"   --log-format="%h %^[%d:%^] "%r" %s %b"   -f  /var/log/httpd/access_log-20150517   >  /var/www/`date +%F`.html
</code>

然后,用web浏览器来将这份报告打开即可。

GoAccess是一个非常有价值的工具,它能给系统管理员实时提供可视的HTTP 统计分析。虽然GoAccess的默认输出是标准输出,但是你也可以将他们保存到JSON,HTML或者CSV文件。这种转换可以让 GoAccess在监控和显示网站服务器的统计数据时更有用。


DevOps-田飞雨 》》转载请注明源地址
喜欢 (8)or分享 (0)
发表我的评论
取消评论
*

表情 贴图 加粗 链接 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 主机IP地址怎么设置呢?
    淘宝客交流2016-07-10 21:07 回复