Awstats网站日志统计分析工具应用指南

&`#oo.E.wS"_0在车动的这篇文章中写了一些关于Awstats安装的简单说明，参考这篇文章即可完成Awstats的基本安装与设置（参考http://www.chedong.com/tech/awstats.html）。这里我重点介绍一下关于Awstats的地域与城市即GeoIP、geoip_city_maxmind以及其它相关的设置办法。这些内容同样参考车东的一篇文章，不过他介绍的是基于Linux的，而我这里讲的是关于Windows平台的，差异并不大，但对于第一次安装设置Awstats的人来说，却还需要研究半天（参考http://www.chedong.com/blog/archives/001048.html）。DOIT博客4v f6Y,n?:F%Y

DOIT博客(Y&UH/ON\

第一步：首先要安装Geo-IP-PurePerl或Geo-IP，方法是，以C盘根目录上运行 C:\> ppm installhttp://theoryx5.uwinnipeg.ca/ppms/Geo-IP.ppd这个命令。根据提示即可完成Geo-IP的相关环境。

e7oq1V4C ^I0

V Owu
f7f~0DOIT博客u+m4?-Q-ct K

DOIT博客+T2e0~}XG%\ U

第二步：然后到这里下载（http://www.maxmind.com/app/geoip_country）Geo-IP国家与IP地址的反映射数据，复制到一个目录中（例如d:/share/geoip）。到这里下载（http://www.maxmind.com/app/geolitecity）Geo-IP城市与IP地址反映射数据，复制到一个目录中（例如d:/share/geoip）。

Jhn\0{(o ]n9L%Nj(@u0

_AeV^}9]e)r0第三步：修改awstats.conf配置文件：DOIT博客n
f2fg_V"l!W)z|
LoadPlugin="geoip GEOIP_STANDARD d:/share/GeoIP/GeoIP.dat"    (国家映射设置)DOIT博客)k6k$]c(oz3@Gn
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD d:/share/GeoIP/GeoLiteCity.dat"   (城市映射设置)DOIT博客4`$F7r,lm
下面这两项Plugin的设置也要打开（跟映射没关系）DOIT博客i.b
O#W1}$RV#|U
LoadPlugin="tooltips"   (无需加载任何组件)
!pO
pX5k r0LoadPlugin="decodeutfkeys"   (解决语言编码问题，无需加载任何组件)

y%qe!I5q,yc*ct@\0DOIT博客.kp?9A)@4T

参考资料复制（来自车东网站）DOIT博客8EY]4b#w3U`

DOIT博客@)FW%Oa6g'c

================================================================================

@)Ee3R#N e0

AWStats升级到6.5：补充更新

W5Ja]!tb0===========================================

y]d a{
}0AWStats: Apache/IIS的日志分析工具
p@_G7X h0    ——在GNU/Linux和Windows平台上的使用简介

4@ro T!syQ @.u0版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明DOIT博客AB H5])e!V `u
http://www.chedong.com/tech/awstats.html

;|qZ`so0

3SXp8wF$@\0关键词：awstats web log analysis apache iis 日志 分析 open sourceDOIT博客gB1]m XJ s/K

DOIT博客)}?5wO#mxQ/g

你完全不必耐心看完所有内容：简要安装说明如下
,MG S-T#Ir+wL0安装DOIT博客zd$i5~ s
====DOIT博客'cY-^$N%Fw
http://sourceforge.net/projects/awstats/ 下载安装包后：
T~y'Y,o$I `0GNU/Linux：tar zxf awstats-version.tgz
B9bqkH;W0awstats的脚本和静态文件缺省都在wwwroot目录下：将cgi-bin目录下的文件都部署awstats.pl程序到 /home/apache/cgi-bin/awstats/ 下DOIT博客-H(mgDx@)[
mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
JeT+p.UnD^D0#把图标等文件目录复制到WEB的HTML文件发布目录下：/home/apache/htdocs/ 下发布
}^i"?f$Zo9M0更多的批量更新脚本等在tools 目录下，可以一并放到cgi-bin/awstats/ 目录下
'I3fpdscnE0升级国内主要搜索引擎定义：http://www.chedong.com/tech/search_engines.pmDOIT博客1A)p6EgQV?/X
DOIT博客%J6[$`;Gj3Q LTB
配置
7X&n {6J^{:V6@0====
`-^1}h0{W(VrJ6Q0将缺省awstats.model.conf 命名成common.conf
;N\
SL-l6OP0修改其中的DOIT博客 bZ%`t"M
LoadPlugin="decodeutfkeys"
[.S?7z"L0
hc(mCQ:{0创建awstats下创建：data 目录用于统计数据输出DOIT博客|@(y7i2if

}~mk
x P'p0按照一下样例设置配置文件：
9]ly BC0Include "common.conf"DOIT博客\(R9yP.q
LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
Lx6x9Y)sN3B0SiteDomain="www.chedong.com"DOIT博客7FJ }0Q fg'B
HostAliases="chedong.com"DOIT博客)C;g6Se,gb-J/YlY*` j
DefaultFile="index.html"DOIT博客"qS;? Uu?/u
DirData="/home/cgi-bin/awstats/data/"DOIT博客XG0D"VK Xy(n6u

}az3[,D{1J0内容摘要：AWStats的使用简介和配置一些改进说明。很高兴看到在AWStats 6.3版本开始：中文用户基本上已经只需要将配置文件中将 LoadPlugin="decodeutfkeys" 启用基本上就没有什么中文搜索引擎的统计问题了，目前增加了# Minor chinese search engines 'baidu\.com','search\.sina\.com','search\.sohu\.com',这3个搜索引擎。包含了针对国内主要搜索引擎和门户网站定义的补丁(解包后覆盖lib\目录下的原程序目录即可)

F _um,U%K0

日志统计系统在站点的用户行为分析中扮演了重要的角色，尤其是对于来自搜索引擎的关键词访问统计：是很有效的用户行为分析数据来源。随着互联网多年的发展，WEB日志统计工具已经越来越成熟，功能也越来越丰富。其中有很多是开放源代码的， AWStats就是其中非常优秀的一款。DOIT博客 x5S"`&Z0icVu

AWStats: Advanced Web Statistics

DOIT博客dGNL(D|6U7h

AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer，AWStats的优势在于：
xdP3Fg+f0DOIT博客8^-Xn
d)I-I yO4? }

1. 界面友好：可以根据浏览器直接调用相应语言界面（有简体中文版）
   Z`y:jc(l6W,G0参考输出样例：http://www.chedong.com/cgi-bin/awstats/awstats.pl?config=chedong
2. 基于Perl：并且很好的解决了跨平台问题，系统本身可以运行在GNU/Linux上或Windows上（安装了ActivePerl后）；分析的日志直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer虽然也有Windows平台版，但目前已经缺乏维护；DOIT博客@gAJa
   AWStats完全可以实现用一套系统完成对自身站点不同WEB服务器：GNU/Linux/Apache和Windows/IIS服务器的统一统计。
3. 效率比较高：AWStats输出统计项目比Webalizer丰富了很多，速度仍可以达到Webalizer的1/3左右，对于一个日访问量百万级的站点，这个速度都是足够的；
   .|Gvk6D } p U\0
4. 配置/定制方便：系统提供了足够灵活但缺省也很合理的配置规则，需要修改的缺省配置不超过3，4项就可以开始运行，而且修改和扩展的插件还是比较多的；
5. AWStats的设计者是面向精确的"Human visits"设计的，因此很多搜索引擎的机器人访问都被过滤掉了，因此有可能比其他日志统计工具统计的数字要低，来自公司内部的访问也可以通过IP过滤设置过滤掉。
6. 提供了很多扩展的参数统计功能：使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。DOIT博客 W#u4S _*a
   

o"uC6p6XJ0更多与其他工具：Webalizer, analog的比较请参考：
%r0]4E}
r0http://awstats.sourceforge.net/#COMPARISON
c.~:_z3hI;S0

f3ki9}+?p{*uun0

AWStats安装备忘

DOIT博客3w;Q0OHS1A

AWStats的运行模式是这样的：DOIT博客 K~;K}%xPhpk
DOIT博客QGsq%PVd

1. 分析日志：运行后将这样的日志统计结果归档到一个AWStats的数据库（纯文本）里；
2. 然后是输出：分两种形式
   • 一种是通过cgi程序读取统计结果数据库输出；
   • 一种是运行后台脚本将输出导出成静态文件；

8?yf
dB0au/Dp\X\0以下是2个针对单个站点日志统计例子：DOIT博客"{2S T?2_*{R3a
一个是在GNU/Linux上通过CGI方式的输出，DOIT博客@'J,K-q,vAjj
一个是在Windows 2000上的基于静态页面的导出
#m Z0t:Lnjz7A0DOIT博客 |m `2sQ1D(k*iE

下载/安装

DOIT博客1\;h [oc W

http://sourceforge.net/projects/awstats/下载安装包后：
;Y,L5QLI^pgl2@0

U]9J X"f0DOIT博客)Q?)Y)zmo:E V4z0F?t0|

GNU/Linux：tar zxf awstats-version.tgz
^/D{ Slr T?A&P+Y0awstats的脚本和静态文件缺省都在wwwroot目录下：将cgi-bin目录下的文件都部署awstats.pl程序到/home/apache/cgi-bin/awstats/ 下
fw|Sc2C5qcB0mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
{lZ%of3Uj5k.U?0#把图标等文件目录复制到WEB的HTML文件发布目录下：/home/apache/htdocs/ 下发布DOIT博客~q1BV,lV|$F ZI
更多的批量更新脚本等在tools 目录下，可以一并放到cgi-bin/awstats/ 目录下，

$?
Aj4p'nJ q0

Z1Vutz$c0Windows 2000：按照后台脚本模式运行，直接解包，然后移动到D:\AWStats目录下DOIT博客b}\ Ac1e,J
把图标icon目录复制到IIS的发布目录下：inetpub/icon
v0@e5gkI0

2J4P#}ZGD2\U/Z0

数据源日志格式和按天的截断规则
$]@&W3E4a _0

1. 对于Apache：日志格式好设置：设置成combined格式即可，日志截断麻烦一点：需要安装cronolog工具，将日志设置成按天截断：
   {3N MnpSC&sF0CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combined
   f~g{E"`/a0比如：logs/access_log.20030326
   P_.J1`+V"}0日志是压缩格式，可以使用gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz | 动态解压缩统计。
2. 对于IIS：缺省有比较好的日志按天截断规则，但是IIS的日志格式比较不适合AWStats统计，DOIT博客Q%d8F1nu5DqH`
   因此最好直接去掉所有日志字段，然后严格按照以下列表设置
   ,gDdLn7n]0
   • 日期 date
   • 时间 time
   • 客户IP地址 c-ip
   • 用户名 cs-username
   • 方法 cs-method
   • URI资源 cs-uri-stem
   • 协议状态 sc-status
   • 发送字节数 sc-bytes
   • 协议版本 cs-version
   • 用户代理 cs(User-Agent)
   • 参照 cs(Referer)
   相比IIS缺省设置：
   +e?t%wL#l,c nd0减少的有：
   Aw jcj*]J:I4r0
   • 服务器IP地址
   • 服务器端口
   • URI查询
   增加的有：
   4l;TP5o y9rk0
   • 发送字节数
   • 协议版本
   • 参照 

配置文件的命名规则：awstats.sitename.conf

DOIT博客)eX/mEYC{S

AWStats的主程序awstats.pl会自动根据站点名调用相应站点的配置文件：awstats.sitename.confDOIT博客_a"H\A{
比如：运行./awstats.pl -config=chedong 调用的就是同目录下的 awstats.chedong.conf 配置文件；
&}B%D6o(x2\,e0如果没有指定-config，还会找当前目录下的awstats.conf或者/etc/awstats.conf作为缺省配置文件。
@INg'aK$\0所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf；比如：awstats.chedong.conf，DOIT博客;[1J'M/N_ g
DOIT博客t8h KpIi@[

DOIT博客h:Agw-b/{.T

对于多个站点的统计，AWStats的配置文件包含功能还是非常有用的，我们可以把通用的配置放在一个文档中，然后用(5.4版本以后开始支持) Include配置将通用配置包含在各个具体配置文件的头部，然后用其他配置覆盖通用配置中的相应属性，比如：DOIT博客x EM+x1G f
Include="common.conf"
,r6i|R;E4wg!RyT0LogFile="/path/to/bbs/access_log"
L'Dj*Y.y@0SiteName="bbs.chedong.com"DOIT博客PL%d Q'sJxT P

/uN!Pks7k"A0

最少的配置文件修改：LogFile SiteDomain LogFormat

"RAG!a*k0对于在GNU/Linux上统计Apache日志只需修改：LogFile SiteDomain这2个选项
?\I_R0d/N%D}4RX0DOIT博客W2l3f.S\

1. GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"DOIT博客 F'S2C"\3Pz9P
   Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
   )d(A.d_EM0这个配置的意思是用24小时前的年份，月份，日期拼出的日志文件名；
2. SiteDomain="www.chedong.com"
   0Io&G){b!t\+o/z0站点的名称，缺省是空的，如果为空，AWStats将拒绝运行；
3. 对于统计IIS日志需要多修改一个：
   b_;Gd2L"b6c0LogFormat=2
   Q$D"M(s@0rKb
   s0缺省值是1：Apache日志，2是IIS日志

DOIT博客|%Y,k{3q[LQT

其他需要注意的事项：
v&sE/\8g2~_)O#E0AWStats缺省不过滤swf文件，会把.swf算成PageView，所以如果站点上swf文件主要是广告的话最好还是要过滤掉：DOIT博客$O,Ps?s9L-Q

日志分析

DOIT博客JS,[ k0gW5^

./awstats.pl -update -config=sitename -lang=cnDOIT博客?Nv;v_$xNY
比如：./awstats.pl -update -config=chedongDOIT博客 L I/g@)?I#g(C$W
会自动调用awstats.chedong.conf这个配置文件DOIT博客1z7J@$l$q)y+i3B [

统计输出

Gzd4YW9K!A@p%m0GNU/Linux    http://localhost/cgi-bin/awstats/awstats.pl?config=chedong

@&DE%zN!j Lgha0Windows 2000 http://localhost/awstats/awstats.chedong.htmlDOIT博客(m.b(B/~P1B
[8D

日志统计自动运行

av?&E?0GNU/Linux上：crontab -e: 每天8点10分运行DOIT博客l0kb9a*}X7SO_z u
#update awstats
F-?#m?$s*y-C010 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl －update -config=chedong)
{,lr|3m4n)w4U$n0

uVzk5]+Rv5LW0

y/}xj.GMcY-V0Windows 2000上：设置每天8点10分运行DOIT博客9snU#vn&_"ph4T8~f
D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl
^? gxwbt'cy`oG%_0DOIT博客U#kvE"v6cg4ne

多站点日志统计

?Q&c+QcXF0AWStats自带了一个批处理工具：tools/awstats_updateall.pl，可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。DOIT博客W
D!? aFE+zB
DOIT博客U!Ap.}f*_B B*M

DOIT博客0Z aL;p]jT

针对多个站点，很多配置选项是重复的，如果每个配置文件都修改维护起来会很麻烦，AWStats从5.4版本开始提供了配置文件包含的功能，所以我们可以配置一个通用配置，比如：common.confDOIT博客7K.NmRI Aq

ai0uua&v9j"d0然后其他站点的配置设置为：可以通过后面的选项覆盖和缺省不一致的配置。DOIT博客a{!x*y+M[(c
awstats.bbs.chedong.confDOIT博客E7Lt"g:X gb,[9c
Include "chedong.common.conf"DOIT博客W}(F Be+E/}
LogFile "/path/to/bbs_log"
5|N`.k)xDS0SiteName "bbs.chedong.com"DOIT博客Wmc4p*k'A0l#~ Fn!f

DOIT博客&]7])\^ju

awstats.www.chedong.conf
s8T%p {w0Include "chedong.common.conf"
-hd$F.p$p5P:Xr_-RXA0LogFile "/path/to/www_log"
&v2Iq!I$N%fy @a1^,X0SiteName "www.chedong.com"DOIT博客 uBiW\p7Y
HostAliases="chedong.com" 
G;|$y.F'O)|;w2DO6M.o0DOIT博客Z G+w6tb`

统计指标说明

• 参观者：按来访者不重复的IP统计，一个IP代表一个参观者；
• 参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者的访问次数；
• 网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；
• 文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服务器会发出多次文件请求，文件数一般远远大于文件数；
• 字节：传给客户端的数据总流量；
• 来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：DOIT博客&ksDoN
  比如：DOIT博客:q`;UcFW
  2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
  vt-N
  vu0cn}D6[:^0AWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的：可以对全世界3百多种机器爬虫进行识别，并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。DOIT博客c"a-_,s"Dh
  

DOIT博客DTzW{RP%xY

参考资料：
-N9V6q3Oc*I*q0DOIT博客[}snTVL$t|

DOIT博客F_/R~?/lX6[

AWStatsDOIT博客 Zez7}3O?'M5Dq
http://awstats.sourceforge.net/
(bD0Y.]Q0

)z!e6N!o liy7Nu0

&]M D\2b9^9[ oR0Webalizer
'|7h/J"~a:a!n0http://www.webalizer.org/
Y-BR;P3r'pX0DOIT博客u"ZBZ7Chb

C9sYwy(cg(@8UJ"w0日志分析工具DOIT博客!vv!['{;j6c[(N
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/DOIT博客U*A o'@)d,]
DOIT博客3w9?pJ0z.b

DOIT博客 \@PI0_2G9r

商业日志统计/分析工具DOIT博客mg| v)@
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/DOIT博客3l"Be0R/y;}k'E
DOIT博客"d)VtwPR.A`

DOIT博客/p"ZG3q;L$R@

多站点的日志合并统计：
M*TUUm0S0http://www.chedong.com/tech/rotate_merge_log.html
p7B&V'g,]%C0

`!S"eX S A0

Kl#nH9X0H3Qn3E9Ru0日志统计对于分析搜索引擎对站点的影响具有非常重要的意义
UY1BWY0http://www.chedong.com/tech/google.html
*E1X7P
ri"x6n0

Qy?~'D9wS0