Awstats网站日志统计分析工具应用指南

DOIT社区%k;R:b
AeM"a

在车动的这篇文章中写了一些关于Awstats安装的简单说明，参考这篇文章即可完成Awstats的基本安装与设置（参考http://www.chedong.com/tech/awstats.html）。这里我重点介绍一下关于Awstats的地域与城市即GeoIP、geoip_city_maxmind以及其它相关的设置办法。这些内容同样参考车东的一篇文章，不过他介绍的是基于Linux的，而我这里讲的是关于Windows平台的，差异并不大，但对于第一次安装设置Awstats的人来说，却还需要研究半天（参考http://www.chedong.com/blog/archives/001048.html）。

h$c!HCSr-n{K0

y-mc4_r/F;}7L!km x0第一步：首先要安装Geo-IP-PurePerl或Geo-IP，方法是，以C盘根目录上运行 C:\> ppm installhttp://theoryx5.uwinnipeg.ca/ppms/Geo-IP.ppd这个命令。根据提示即可完成Geo-IP的相关环境。

6q Iu1Q!Aw)l
wq
s0

8Q*SB&B^?S o*a^0DOIT社区'|b1L3M Y*s6\cG;h

({#Gi8e2^.pWY_5^0第二步：然后到这里下载（http://www.maxmind.com/app/geoip_country）Geo-IP国家与IP地址的反映射数据，复制到一个目录中（例如d:/share/geoip）。到这里下载（http://www.maxmind.com/app/geolitecity）Geo-IP城市与IP地址反映射数据，复制到一个目录中（例如d:/share/geoip）。DOIT社区RD:u0w8S;w](Y3Uc

8fz8~
Re0第三步：修改awstats.conf配置文件：
$W/_+n5[A0LoadPlugin="geoip GEOIP_STANDARD d:/share/GeoIP/GeoIP.dat"    (国家映射设置)DOIT社区_3xuELKr xtX&\
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD d:/share/GeoIP/GeoLiteCity.dat"   (城市映射设置)DOIT社区+Z6K%wli6X} Px
下面这两项Plugin的设置也要打开（跟映射没关系）DOIT社区mL!Bm&N3`y4Kq
LoadPlugin="tooltips"   (无需加载任何组件)DOIT社区(^7P
{3Y]%GXT
LoadPlugin="decodeutfkeys"   (解决语言编码问题，无需加载任何组件)

S~(m)U0`8R#x1[S)a0

u*R7[F}$lK3h0Q0参考资料复制（来自车东网站）

)k1^$MK_Udb0

f:PS$u4JVj#e0J~0================================================================================DOIT社区.tb+dg.o/qM

AWStats升级到6.5：补充更新

^,oCG1z3Ux0===========================================

\&y&{/B8S{o0AWStats: Apache/IIS的日志分析工具
2i9Y~R;j0    ——在GNU/Linux和Windows平台上的使用简介

h$N)s7r0l2?0版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本声明
M1Lwa^vU,u0http://www.chedong.com/tech/awstats.html

%c$o*CIh Ku0DOIT社区A/ye7t!`6U2A

关键词：awstats web log analysis apache iis 日志 分析 open sourceDOIT社区 eYN nAR

DOIT社区JG$P5J
@t

你完全不必耐心看完所有内容：简要安装说明如下
SLC4Ev0安装DOIT社区_(jk(\ZO
====
"q |_JnFP7E0http://sourceforge.net/projects/awstats/ 下载安装包后：DOIT社区%] K6N*r(N%uu*BY
GNU/Linux：tar zxf awstats-version.tgz
y nU`!Q'l y
]0awstats的脚本和静态文件缺省都在wwwroot目录下：将cgi-bin目录下的文件都部署awstats.pl程序到 /home/apache/cgi-bin/awstats/ 下
"v*z*t)NC)\0mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstatsDOIT社区 p1X"}Df,afW7g e
#把图标等文件目录复制到WEB的HTML文件发布目录下：/home/apache/htdocs/ 下发布DOIT社区be.Q3C f
更多的批量更新脚本等在tools 目录下，可以一并放到cgi-bin/awstats/ 目录下
oO T&i#[_t)Bj0升级国内主要搜索引擎定义：http://www.chedong.com/tech/search_engines.pmDOIT社区 k'y[2Fbb3@
DOIT社区*W_2J6\uE,D
配置DOIT社区dA7m2n
t"IB
====DOIT社区:Tbc'eH0A4S
将缺省awstats.model.conf 命名成common.confDOIT社区8DC(B/Bp2b$M"~ T8`
修改其中的DOIT社区W1Y CI nDG8v
LoadPlugin="decodeutfkeys"DOIT社区+I'Si8H!|jTxRpB8q

})k;G#VJ5@0创建awstats下创建：data 目录用于统计数据输出
?_'vk~h0
Q} i.U+d2iPMWen4@0按照一下样例设置配置文件：
Y.H;[2`]P0Include "common.conf"
-@&Kouc&tU.o0LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"DOIT社区0KC[p8Z;u0gv!}'d
SiteDomain="www.chedong.com"
t|K`:D0HostAliases="chedong.com"DOIT社区Rc*Z-x w/bRu:h
DefaultFile="index.html"DOIT社区'^5VRO*?p)Mt8I
DirData="/home/cgi-bin/awstats/data/"

OL-nUufV0DOIT社区"P~#D.[+w&k

内容摘要：AWStats的使用简介和配置一些改进说明。很高兴看到在AWStats 6.3版本开始：中文用户基本上已经只需要将配置文件中将 LoadPlugin="decodeutfkeys" 启用基本上就没有什么中文搜索引擎的统计问题了，目前增加了# Minor chinese search engines 'baidu\.com','search\.sina\.com','search\.sohu\.com',这3个搜索引擎。包含了针对国内主要搜索引擎和门户网站定义的补丁(解包后覆盖lib\目录下的原程序目录即可)DOIT社区1h0``kxE$o:W

日志统计系统在站点的用户行为分析中扮演了重要的角色，尤其是对于来自搜索引擎的关键词访问统计：是很有效的用户行为分析数据来源。随着互联网多年的发展，WEB日志统计工具已经越来越成熟，功能也越来越丰富。其中有很多是开放源代码的， AWStats就是其中非常优秀的一款。DOIT社区)i!YrbNs/i\

AWStats: Advanced Web Statistics

DOIT社区'@%{A_1U/c K5g2B:q

AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer，AWStats的优势在于：DOIT社区W'MG8L%x
DOIT社区4?;B
fps

1. 界面友好：可以根据浏览器直接调用相应语言界面（有简体中文版）DOIT社区]R$A(UF8w&n
   参考输出样例：http://www.chedong.com/cgi-bin/awstats/awstats.pl?config=chedong
2. 基于Perl：并且很好的解决了跨平台问题，系统本身可以运行在GNU/Linux上或Windows上（安装了ActivePerl后）；分析的日志直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer虽然也有Windows平台版，但目前已经缺乏维护；
   qy
   Z4Mrdj0AWStats完全可以实现用一套系统完成对自身站点不同WEB服务器：GNU/Linux/Apache和Windows/IIS服务器的统一统计。
3. 效率比较高：AWStats输出统计项目比Webalizer丰富了很多，速度仍可以达到Webalizer的1/3左右，对于一个日访问量百万级的站点，这个速度都是足够的；
   Tw-`.?t:f*i[3f0
4. 配置/定制方便：系统提供了足够灵活但缺省也很合理的配置规则，需要修改的缺省配置不超过3，4项就可以开始运行，而且修改和扩展的插件还是比较多的；
5. AWStats的设计者是面向精确的"Human visits"设计的，因此很多搜索引擎的机器人访问都被过滤掉了，因此有可能比其他日志统计工具统计的数字要低，来自公司内部的访问也可以通过IP过滤设置过滤掉。
6. 提供了很多扩展的参数统计功能：使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。DOIT社区X6x$K4E r|H
   

DOIT社区|,D"k*J p c*o%Q

更多与其他工具：Webalizer, analog的比较请参考：DOIT社区'`3p \ ?5aa7d&M,N q-||
http://awstats.sourceforge.net/#COMPARISON
mW(w5c"QoDe
o P0DOIT社区D+bK2TtQ

AWStats安装备忘

H W-q*?x(hv$OA/V*n0AWStats的运行模式是这样的：
\.Xc\{0DOIT社区 QS&Q6T
n-q

1. 分析日志：运行后将这样的日志统计结果归档到一个AWStats的数据库（纯文本）里；
2. 然后是输出：分两种形式
   • 一种是通过cgi程序读取统计结果数据库输出；
   • 一种是运行后台脚本将输出导出成静态文件；

DOIT社区!b:D;?&gi/^/r(vOgk

以下是2个针对单个站点日志统计例子：DOIT社区}P"D+?*q'B9W
一个是在GNU/Linux上通过CGI方式的输出，DOIT社区|#G5x&SSv
一个是在Windows 2000上的基于静态页面的导出
'~7S rW\D5ac']0

y9h SU
fMI0

下载/安装

9Hf5d5c7Q}Xe0http://sourceforge.net/projects/awstats/下载安装包后：
;K^9TS3a#Q ^%V}0DOIT社区|
c}
N?Td

ol \$SbY{d:h+|C0GNU/Linux：tar zxf awstats-version.tgz
TV+y*d@s0awstats的脚本和静态文件缺省都在wwwroot目录下：将cgi-bin目录下的文件都部署awstats.pl程序到/home/apache/cgi-bin/awstats/ 下
K'Y"H
F _H/lEO0mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
+We\*bsQ.D0#把图标等文件目录复制到WEB的HTML文件发布目录下：/home/apache/htdocs/ 下发布
!K-{'TO%w9JlB0更多的批量更新脚本等在tools 目录下，可以一并放到cgi-bin/awstats/ 目录下，DOIT社区e Dw/ja#tu

DOIT社区_{}8yA/]{

Windows 2000：按照后台脚本模式运行，直接解包，然后移动到D:\AWStats目录下DOIT社区Q#GR[!x!FFdv
把图标icon目录复制到IIS的发布目录下：inetpub/icon
c(|5n4Y+A3E H/j1_0

$X1Ev#`T@0

数据源日志格式和按天的截断规则
@&P"A3mWd R/F[R"?0

1. 对于Apache：日志格式好设置：设置成combined格式即可，日志截断麻烦一点：需要安装cronolog工具，将日志设置成按天截断：
   Y+@9yoxrgH*s&^0CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combined
   1J.YP0H4^T0比如：logs/access_log.20030326DOIT社区uS*bz'YIo [
   日志是压缩格式，可以使用gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz | 动态解压缩统计。
2. 对于IIS：缺省有比较好的日志按天截断规则，但是IIS的日志格式比较不适合AWStats统计，DOIT社区j3fc4U^$?2ode
   因此最好直接去掉所有日志字段，然后严格按照以下列表设置DOIT社区p
   e;^/\c!F"yx
   
   • 日期 date
   • 时间 time
   • 客户IP地址 c-ip
   • 用户名 cs-username
   • 方法 cs-method
   • URI资源 cs-uri-stem
   • 协议状态 sc-status
   • 发送字节数 sc-bytes
   • 协议版本 cs-version
   • 用户代理 cs(User-Agent)
   • 参照 cs(Referer)
   相比IIS缺省设置：
   ^-cB$Z/{0减少的有：DOIT社区 s9HJ6M a6YZ"S
   
   • 服务器IP地址
   • 服务器端口
   • URI查询
   增加的有：
   Eu)[Q2Th1H0
   • 发送字节数
   • 协议版本
   • 参照 

配置文件的命名规则：awstats.sitename.conf

DOIT社区 I*j*WsF3^-n ^@0L

AWStats的主程序awstats.pl会自动根据站点名调用相应站点的配置文件：awstats.sitename.confDOIT社区~1N)O1X:lX:C ]
比如：运行./awstats.pl -config=chedong 调用的就是同目录下的 awstats.chedong.conf 配置文件；
2} oQ&qYH0如果没有指定-config，还会找当前目录下的awstats.conf或者/etc/awstats.conf作为缺省配置文件。DOIT社区gP8C*Z1Z}3m%u
所以最好把缺省的awstats.model.conf 重命名成 awstats.yoursite.conf；比如：awstats.chedong.conf，
\rEZjnE.p0

5Y'K:U)Ara}]0X1o0DOIT社区!|y|Q-YUt.`

对于多个站点的统计，AWStats的配置文件包含功能还是非常有用的，我们可以把通用的配置放在一个文档中，然后用(5.4版本以后开始支持) Include配置将通用配置包含在各个具体配置文件的头部，然后用其他配置覆盖通用配置中的相应属性，比如：
-z+m5chu0Include="common.conf"
C$j_^Gu#n^0LogFile="/path/to/bbs/access_log"DOIT社区8|q Tj8R1ovfm
SiteName="bbs.chedong.com"DOIT社区+A!O|*K1ax#BbP7c
Dv]
DOIT社区-lN/@[b1r4v/D

最少的配置文件修改：LogFile SiteDomain LogFormat

J;Ma2A!Y&X0对于在GNU/Linux上统计Apache日志只需修改：LogFile SiteDomain这2个选项
E(~cx ^b8|0

$R/wE1F P7l`E0

1. GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
   :_7O#v m&`$i0Windows 2000 LogFile="d:\iis_logs\W3SV3\ex%YY-24%MM-24%DD-24.log"
   0m9]H:W)RpU!j#] c0这个配置的意思是用24小时前的年份，月份，日期拼出的日志文件名；
2. SiteDomain="www.chedong.com"
   !|Y0cLd6~y+?T0站点的名称，缺省是空的，如果为空，AWStats将拒绝运行；
3. 对于统计IIS日志需要多修改一个：DOIT社区R]F?
   gwJ
   LogFormat=2DOIT社区'}U-b2g V4q%dPW
   缺省值是1：Apache日志，2是IIS日志

DOIT社区&MH)}-M*I^fHLVC

其他需要注意的事项：
|.`(XT
X!H&A#^
w0AWStats缺省不过滤swf文件，会把.swf算成PageView，所以如果站点上swf文件主要是广告的话最好还是要过滤掉：

qZCZp0

日志分析

DOIT社区b4_U0B-`R`,o;V

./awstats.pl -update -config=sitename -lang=cnDOIT社区OI9~WsK.v,oK
比如：./awstats.pl -update -config=chedongDOIT社区 WA|(O2g7i Ps
会自动调用awstats.chedong.conf这个配置文件

)|r_n;@4VO0

统计输出

O%P$_)cZe(?d
^"?5I0GNU/Linux    http://localhost/cgi-bin/awstats/awstats.pl?config=chedongDOIT社区+NC b*|p!a
Windows 2000 http://localhost/awstats/awstats.chedong.htmlDOIT社区;J2ThooS

日志统计自动运行

}y}/nE5E0GNU/Linux上：crontab -e: 每天8点10分运行DOIT社区#H2dy)HUO ?!\
#update awstatsDOIT社区fle7HP9t
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl －update -config=chedong)DOIT社区4l@i['^S&X}

HIJ1A8sh(NY#w0DOIT社区%Y)ROR.c(_(t

Windows 2000上：设置每天8点10分运行
lZNX^0D:\Perl\bin\perl.exe d:\AWStats\tools\awstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:\inetpub\awstats\ -awstatsprog=d:\awstats\wwwroot\cgi-bin\awstats.pl
7AedIv N)?0

0@%UCu$p6t8y5r C:x0

多站点日志统计

DOIT社区W"KjLt8J

AWStats自带了一个批处理工具：tools/awstats_updateall.pl，可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。DOIT社区$IZ#H#~_VVH
DOIT社区-y(V5S;| C7e+C)Zv

DOIT社区&I_%J:`!N

针对多个站点，很多配置选项是重复的，如果每个配置文件都修改维护起来会很麻烦，AWStats从5.4版本开始提供了配置文件包含的功能，所以我们可以配置一个通用配置，比如：common.confDOIT社区\UJc V4gq\

DOIT社区 G#Y%P-~Au

然后其他站点的配置设置为：可以通过后面的选项覆盖和缺省不一致的配置。DOIT社区Tx.}l%_b;Xxe
awstats.bbs.chedong.confDOIT社区*]&_'m]'Y!D7n#vX
Include "chedong.common.conf"DOIT社区,~vcZ @zF
LogFile "/path/to/bbs_log"
C:C!p0uI$c0SiteName "bbs.chedong.com"DOIT社区:Tdr,w zBddq,|

DOIT社区`:pb.[;l&c&q

awstats.www.chedong.conf
x.iK]o B0Include "chedong.common.conf"DOIT社区E
M+~4d m j
LogFile "/path/to/www_log"
o NH-RLQ dg0SiteName "www.chedong.com"DOIT社区mt1Q,@9z"\E
HostAliases="chedong.com" 
Qq;Bp&_T\.NI|0

9@+Y:c)u+K'Ey"x4T0

统计指标说明

• 参观者：按来访者不重复的IP统计，一个IP代表一个参观者；
• 参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者的访问次数；
• 网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；
• 文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服务器会发出多次文件请求，文件数一般远远大于文件数；
• 字节：传给客户端的数据总流量；
• 来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：
  lLDe Z0比如：
  ?5r T8K:dI02003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedongDOIT社区\%_CO4eT
  AWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的：可以对全世界3百多种机器爬虫进行识别，并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。
  AJeOY:t[s2D$SdE0

DOIT社区)Z[MZDQ#[*O(jH

参考资料：DOIT社区8zm
r4s&i

0v2c\O^4y(m_
OV T:}0DOIT社区WgVr [ B
X8A X~

AWStats
/yT._L+M&w5a0http://awstats.sourceforge.net/DOIT社区F qyk@5^EBB
DOIT社区x4s!H P
N

DOIT社区*q&pyqa p8G

Webalizer
+K2f5t6B!O S0http://www.webalizer.org/
$bY$z1^E,h$[0

&l6O!B i{wD+e a+t8k0DOIT社区&Q$J0kPtpi T

日志分析工具DOIT社区2B1Ml"D*i'Aj Q9F,}
http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/
K
y2m3q@H#I{;K(V0

jh\m"`5v3nD0DOIT社区6N!y)pco@pG

商业日志统计/分析工具
W"R8X(\
`-Ibk@-I0http://directory.google.com/Top/Computers/Software/Internet/Site_Management/Log_Analysis/Commercial/
/b`:O#j q0

/c:B eT#l"D!|0

{v(tmFi7{ F0多站点的日志合并统计：DOIT社区0U+Tm0x e~I?#t*hu;E
http://www.chedong.com/tech/rotate_merge_log.html
2YI~7gE"Xt6l0DOIT社区5G9}I(V7z*Z"Wm(@

,WU6HEa;A0日志统计对于分析搜索引擎对站点的影响具有非常重要的意义
Ik@l#^m U0http://www.chedong.com/tech/google.htmlDOIT社区U'A9I+GPi G

IU }W7H0