设为首页收藏本站

LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区!

 找回密码
 注册

QQ登录

只需一步,快速开始

#公告#抱歉,网站将关闭,不再开放。由于PC时代已远逝 。在这个后移动互联网时代,我们继续携手前行,保持对技术的热情。共同构建linuxtone知识星球欢迎加入,一起讨论技术、招聘人才、分享资源。请新老linuxtone人 扫码移步到 知识星球:linuxtone

学习是一种信仰!分享是一种快乐!能力= 心态 * 沟通 * 知识 (你的每一天需要正能量!)

 网站的发展需要你贡献一份力量!希望你能每天坚持看贴1小时,并回答网友的问题!祝你在浏览论坛的过程中取得进步!谢谢!linuxtone加油!大家加油! 友情提示: 你今天学习了吗?你今天进步了吗?少一点抱怨!多一点进步!Life is short ! Why not linuxtone ?  

网站的发展、感谢每位坛友的努力!

查看: 5182|回复: 7

[日志分析] awstats分析日志后,文本数据太大 [复制链接]

Rank: 8Rank: 8

签到
305
注册时间
2010-12-28
最后登录
2015-2-6
在线时间
216 小时
阅读权限
90
积分
22788
帖子
177
主题
34
精华
0
UID
11616
发表于 2011-12-24 18:01:12 |显示全部楼层
awstats分析2个日志 约1G左右的源日志

生成出来的文本数据近100M

看了文本日志awstats122011.xxx.com.txt 后
里面BEGIN_SIDER  和 END_SIDER 之间的数据有近58w条


如何屏蔽,应该是以下栏目的

URL 网址 (前 10)   -   全部列出   -   入站处   -   出站处          
579,899 个不同的网页        存取次数        平均大小        入站处        出站处         


先谢过~

论坛元老

举子

Rank: 8Rank: 8

注册时间
2010-1-12
最后登录
2018-4-16
在线时间
480 小时
阅读权限
90
积分
23805
帖子
1031
主题
377
精华
0
UID
7522
发表于 2011-12-24 21:38:05 |显示全部楼层
源日志每天切割木有?

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-12-14
最后登录
2015-2-9
在线时间
102 小时
阅读权限
90
积分
31940
帖子
223
主题
64
精华
0
UID
16603
发表于 2011-12-25 13:44:26 |显示全部楼层
awastats原本就是分析一段时间的网站访问统计的,日志按日期或者大小做回滚才是!
个人博客:关注Linux和Mysql www.simlinux.com  运维群:197095033

使用道具 举报

Rank: 8Rank: 8

注册时间
2010-12-28
最后登录
2015-2-6
在线时间
216 小时
阅读权限
90
积分
22788
帖子
177
主题
34
精华
0
UID
11616
发表于 2011-12-25 21:28:46 |显示全部楼层
luwenju 发表于 2011-12-24 21:38
源日志每天切割木有?

是resin 下的access.log以500M做一切割周期!所以awstats不是每天都debug更新的,
可是一更新就这么大,所以想融缩下!

使用道具 举报

Rank: 8Rank: 8

注册时间
2010-12-28
最后登录
2015-2-6
在线时间
216 小时
阅读权限
90
积分
22788
帖子
177
主题
34
精华
0
UID
11616
发表于 2011-12-25 21:33:02 |显示全部楼层
geekwolf_linux 发表于 2011-12-25 13:44
awastats原本就是分析一段时间的网站访问统计的,日志按日期或者大小做回滚才是! ...

日志分离出得文本数据是关键,如过大,页面加载肯定过慢,当然也可以按多个域名分析每个月的日志
不过这样做太不全观了

使用道具 举报

Rank: 6Rank: 6

注册时间
2011-6-15
最后登录
2013-11-27
在线时间
41 小时
阅读权限
70
积分
9535
帖子
97
主题
35
精华
0
UID
14372
发表于 2011-12-26 09:54:36 |显示全部楼层
帮顶~ 求问 awstats 文本数据文件过大后怎么处理

使用道具 举报

Rank: 8Rank: 8

注册时间
2011-9-2
最后登录
2020-6-27
在线时间
48 小时
阅读权限
90
积分
11832
帖子
19
主题
1
精华
0
UID
15589
发表于 2011-12-30 14:51:04 |显示全部楼层
学习学习啦~~
<-sina_sign,2637041680,051f86b7,1->

使用道具 举报

Rank: 6Rank: 6

注册时间
2011-11-30
最后登录
2013-10-8
在线时间
25 小时
阅读权限
70
积分
7600
帖子
7
主题
2
精华
0
UID
16198
发表于 2012-1-11 16:49:28 |显示全部楼层

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

IT运维专家网感谢您的支持

合作联系: QQ:67888954/MSN:cnseek@msn.com/mail:netseek@linuxtone.org

Archiver|手机版|感谢所有关心和支持过LinuxTone的朋友们 转载本站内容请注明原作者名及出处 ( 京ICP备08103151 )   |

GMT+8, 2020-7-9 19:06 , Processed in 0.022449 second(s), 14 queries , Apc On.

Powered by Discuz! X2 Licensed

© 2001-2011 Comsenz Inc.

回顶部