设为首页收藏本站

LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区!

 找回密码
 注册

QQ登录

只需一步,快速开始

#公告#抱歉,网站将关闭,不再开放。由于PC时代已远逝 。在这个后移动互联网时代,我们继续携手前行,保持对技术的热情。共同构建linuxtone知识星球欢迎加入,一起讨论技术、招聘人才、分享资源。请新老linuxtone人 扫码移步到 知识星球:linuxtone

学习是一种信仰!分享是一种快乐!能力= 心态 * 沟通 * 知识 (你的每一天需要正能量!)

 网站的发展需要你贡献一份力量!希望你能每天坚持看贴1小时,并回答网友的问题!祝你在浏览论坛的过程中取得进步!谢谢!linuxtone加油!大家加油! 友情提示: 你今天学习了吗?你今天进步了吗?少一点抱怨!多一点进步!Life is short ! Why not linuxtone ?  

网站的发展、感谢每位坛友的努力!

查看: 33642|回复: 36

[CDN] squid+bind+lighttpd打造开源架构的CDN   [复制链接]

LT管理团队

论坛广告杀手

Rank: 9Rank: 9Rank: 9

签到
110
注册时间
2008-11-27
最后登录
2018-8-17
在线时间
172 小时
阅读权限
200
积分
7964
帖子
416
主题
66
精华
4
UID
628
发表于 2009-2-20 11:10:00 |显示全部楼层
撰写本文纯属为抛砖引玉,关于CDn的介绍和squid,bind的安装配置 本文不做介绍  有兴趣的朋友可以google下

对这个有兴趣的可以加群  1980117    此群禁止闲聊  暗号 linuxtone

由于某些原因 公司闲置了一批IDC资源 就想拿来玩玩CDN,于是就用了比较流行的开源架构 squid+bind
我这边加速分成web加速和下载加速两块  我说下我现在这边已经实现的 和一些难题  希望有兴趣的朋友一起讨论

已经完成:
1.DNS的智能解析 主从同步
2.squid的基本反向代理,清理缓存
3.文件实时同步 MD5验证 邮件通知
4.基本的日志处理 统计

遇到的困难:
1.squid/lighttpd的优化(永无止境),针对域名限速 已经超速后的处理方式。
2.智能DNS的IP库问题,虽然现在在朋友的帮助下已经有一点准确度,但是还是不行,需要新的方法 比如像F5那样 智能判断(不知道有没有方法,考虑hack代码)
3.日志分析的准确性问题
4.文件实时同步 MD5验证 邮件通知 全是shell脚本 且目前只是针对一个目录 如果多个目录 效率肯定上不去 我考虑用p2p的方式
5 更多…………希望大家补充

希望大家更多的讨论 谢谢

LT管理团队

社区首席勤杂工

Rank: 9Rank: 9Rank: 9

注册时间
2008-5-19
最后登录
2019-5-23
在线时间
1945 小时
阅读权限
200
积分
59165
帖子
2551
主题
1209
精华
25
UID
1

LT总司令

发表于 2009-2-20 11:20:02 |显示全部楼层
不错支持,你考虑的还真全面,我先占个位,稍后补充!
<-sina_sign,1762622645,2a5b1a59,10->感谢大家对linuxtone的支持!</strong>

使用道具 举报

LT管理团队

向Linuxsir的哈密瓜大哥看齐 ...

Rank: 9Rank: 9Rank: 9

注册时间
2008-6-5
最后登录
2019-1-23
在线时间
1828 小时
阅读权限
200
积分
63902
帖子
715
主题
199
精华
4
UID
46

LT同学

发表于 2009-2-20 11:58:20 |显示全部楼层
lz等等把你的配置分享给大家吧!
哈密瓜!一个热爱linux的水果!
gtalk/msn:hamgua@gmail.com
sina微博:http://weibo.com/hamgua
LTmail:hamgua@linuxtone.org
是雄鹰就有展翅飞翔的时候,不是雄鹰要制造展翅飞翔的时候!

使用道具 举报

LT资深版主

犯强汉者,虽远必诛!

Rank: 8Rank: 8

注册时间
2009-2-1
最后登录
2016-2-19
在线时间
548 小时
阅读权限
150
积分
7434
帖子
824
主题
88
精华
3
UID
1215

LT同学

发表于 2009-2-20 12:19:10 |显示全部楼层
老大,希望多多补充一下!分享一下经验!

使用道具 举报

LT管理团队

守住每一天

Rank: 9Rank: 9Rank: 9

注册时间
2008-5-30
最后登录
2017-3-31
在线时间
790 小时
阅读权限
200
积分
68279
帖子
1398
主题
190
精华
10
UID
31
发表于 2009-2-20 13:03:29 |显示全部楼层
相当好。支持下。好好整起来。
<-sina_sign,1054764633,8fd6ea04,4-><-sina_sign,1054764633,7->

使用道具 举报

Rank: 6Rank: 6

注册时间
2009-2-12
最后登录
2019-3-12
在线时间
2122 小时
阅读权限
70
积分
4309
帖子
1310
主题
1282
精华
0
UID
1397
发表于 2009-2-20 17:07:28 |显示全部楼层
智能DNS 和 squid都用上了 还没有联系到一块架设CDN

使用道具 举报

Rank: 7Rank: 7Rank: 7

注册时间
2008-8-16
最后登录
2017-9-11
在线时间
199 小时
阅读权限
100
积分
670
帖子
83
主题
26
精华
2
UID
209

LT粉丝

发表于 2009-2-23 01:00:00 |显示全部楼层
本帖最后由 edison7500 于 2009-2-23 01:01 编辑

CDN 部署中,将DNS view划细,网页的打开速度会大幅度提升。
分析来源IP所属地,可以找到瓶颈在那里。
提高网站的可用性,可以部署VRRP。(缺点容易造成恶性循环)
相对来说,前端优化性能提升比后端有更为显著。
是否使用SQUID其实是个很大争议。SQUID处理静态页面性能能大幅度提升。
而动态页面处理中(比如,通过查询数据库生成的页面)效果并不是很好。
最后,LZ提到使用lighhtpd。lighttpd在处理静态页面上的确是款性能优秀WED软件,而且有相当高的响应速度。不过在动态页面的处理上,功能上稳定性上还是不如apache。
数据同步,使用SQUID的话,可以减少数据冗余。
在源站的同步中如果,站点规模比较小建议还是使用rsync。如果是大规模的站点需要同步的话可以考虑试下rdist(是一款不错点对多点传输软件)。
个人观点,过份考虑后端优化花费的成本高,收益并不理想。
已有 1 人评分积分 收起 理由
linuxtone + 12

总评分: 积分 + 12   查看全部评分

以笑的方式哭,在死亡的伴随下活着

使用道具 举报

LT管理团队

论坛广告杀手

Rank: 9Rank: 9Rank: 9

注册时间
2008-11-27
最后登录
2018-8-17
在线时间
172 小时
阅读权限
200
积分
7964
帖子
416
主题
66
精华
4
UID
628
发表于 2009-2-23 09:24:57 |显示全部楼层
thanks!
我可能要说下我的架构啦(我描述的比较模糊啦)!
我整个架构其实分为下载和web加速部分!
下载部分没有任何动态内容所以是用lighttpd做前端服务器!就是因为它的响应速度比较快。
web部分 用squid缓存静态内容  如图片 视频等等……
bind的view我现在已经划分到省一级的 因为就几个测试节点 目前也没必要再细分
现在的文件同步主要是用在下载一块不用于页面同步, 文件的单个大小可能有4G

使用道具 举报

Rank: 7Rank: 7Rank: 7

注册时间
2008-8-16
最后登录
2017-9-11
在线时间
199 小时
阅读权限
100
积分
670
帖子
83
主题
26
精华
2
UID
209

LT粉丝

发表于 2009-2-25 20:42:52 |显示全部楼层
那你把你的架构,拿出来说下吧。
让大家学习下吧~~
以笑的方式哭,在死亡的伴随下活着

使用道具 举报

Rank: 8Rank: 8

注册时间
2009-3-4
最后登录
2016-5-6
在线时间
56 小时
阅读权限
90
积分
12644
帖子
96
主题
5
精华
0
UID
1717
发表于 2009-3-4 22:45:15 |显示全部楼层
1、首先要有智能的DNS 解析。
2、前面web  要有负载均衡来分担流量,后面挂载 apache ,nginx (或者是squid )后面是具体应用,最后是数据库、存储。
3、服务器之间的镜像 rsync

使用道具 举报

LT管理团队

论坛广告杀手

Rank: 9Rank: 9Rank: 9

注册时间
2008-11-27
最后登录
2018-8-17
在线时间
172 小时
阅读权限
200
积分
7964
帖子
416
主题
66
精华
4
UID
628
发表于 2009-3-5 15:39:38 |显示全部楼层
准备考虑p2p做文件同步  因为文件比较大! 都是100M以上的文件
rsync的效率并不理想

使用道具 举报

LT管理团队

论坛广告杀手

Rank: 9Rank: 9Rank: 9

注册时间
2008-11-27
最后登录
2018-8-17
在线时间
172 小时
阅读权限
200
积分
7964
帖子
416
主题
66
精华
4
UID
628
发表于 2009-3-5 15:40:43 |显示全部楼层
贴一张netseek兄的top图 架构基本一样
webtop.png

使用道具 举报

Rank: 1

注册时间
2009-1-13
最后登录
2011-8-18
在线时间
40 小时
阅读权限
1
积分
49
帖子
64
主题
3
精华
0
UID
829

LT粉丝

发表于 2009-4-10 15:50:19 |显示全部楼层
请问上面这个构架图是什么做的。用的什么软件啊。

使用道具 举报

LT资深版主

犯强汉者,虽远必诛!

Rank: 8Rank: 8

注册时间
2009-2-1
最后登录
2016-2-19
在线时间
548 小时
阅读权限
150
积分
7434
帖子
824
主题
88
精华
3
UID
1215

LT同学

发表于 2009-5-6 22:19:30 |显示全部楼层
亿图
<-sina_sign,1836665025,1->

使用道具 举报

Rank: 7Rank: 7Rank: 7

注册时间
2008-11-26
最后登录
2017-9-11
在线时间
627 小时
阅读权限
100
积分
93417
帖子
450
主题
18
精华
1
UID
618
发表于 2009-5-17 21:27:18 |显示全部楼层
我的用squid+bind
http://code.google.com/p/easy-cdn

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

IT运维专家网感谢您的支持

合作联系: QQ:67888954/MSN:cnseek@msn.com/mail:netseek@linuxtone.org

Archiver|手机版|感谢所有关心和支持过LinuxTone的朋友们 转载本站内容请注明原作者名及出处 ( 京ICP备08103151 )   |

GMT+8, 2019-5-27 08:15 , Processed in 0.035464 second(s), 17 queries , Apc On.

Powered by Discuz! X2 Licensed

© 2001-2011 Comsenz Inc.

回顶部