图片服务器选型方案

NetSeek

从 出家如初，成佛有余 作者：chuanliang   通过 高春辉 的加星标项目


    各个web项目要共享各种图片素材、手机软件，同时也需要处理用户自助上传的图片、软件在各个项目间的共享。采用了独立的图片服务器来集中存储各种图片资源，其他应用服务器通过NFS方式存取图片资源（在linux下使用nfs及软链接解决图片文件共享问题）。起初觉得这种模式相对简单且容易实现，也不是很在意图片服务器的容灾问题，最近在部署应用时候没有按照步骤操作，直接把通过NFS方式共享的目录删除了（由于要在应用上传图片时候实时同步到图片服务器上，因此NFS目录是read、write的），这才意识到容灾的问题。
    在当前的经济形势下，遵循“少花钱、多办事”的原则，采用纯Open Source的方案，不增加硬件及软件投入。简单整理了一下图片服务器的实现时候需要考虑的几个地方：

1、操作文件系统的选择：    非分布式文件系统方案：ReiserFS4、Ext3、JFS
    分布式文件系统方案：Redhat GFS、Lustre、ZFS、NFS

2、数据同步    采用操作系统层分布式文件系统本身的同步功能
    采用应用层分布式文件系统同步方案：FastDFS、MogileFS、Hadoop HDFS
    采用应用层第三方软件同步方案：csync2+inotify、rsync、unison、DRBD、tsync

3、Web服务器的选择：    采用轻量级的Lighttpd、Nginx，不采用apache4、Cache及反向代理：   
   Squid  Lighttpd+mod_mem_cache

5、单独多个图片服务器、单独的图片服务器域名6、数据压缩：    HTTP HEADER的Accept-Encoding

7、客户端缓存：     HTTP HEADER的Expires、Cache-Control、Etag、Last-Modified参数设置

8、应用层优化：    图片按需生成、图片预先生成、根据应用场景降低图片分辨率

采用ReiserFS4+csync2+inotify方案来满足当前需要，后续有空再测试一下FastDFS、MogileFS、Hadoop HDFS  的方案。

Technorati 标签: 图片服务器,高性能服务器,csync2,inotify,lighttpd,hadoop,分布式文件系统,选型

media008

不错。。学习了

jelver

thank for sharing, up

lanvige

总结的很祥细。。。谢谢楼主

深蓝色

看这个版块真是一种享受。

nianzong

回复 1# NetSeek


    不明白为什么将NFS划为"分布式文件系统"

dn833

我现在维护的图片服务器就是centos+nginx+Windows+iis+nfs/cifs（netapp）因为同时采用了CDN和nginx两个缓存方式，所以服务器压力非常小。感觉nfs最方便的就是能够让不同平台享受同一个存储空间。

suzhiguo

很不错的东西，继续关注！

hjwb1216

如果是前端是分布式处理，对于图片来说也是需要不同IDC都需要提供服务，说白了，图片是需要copy，可能nfs就很完美的实现了

ithero

如果即追求规模及性能，想简单点有钱就上SNA，想节约成本就考虑分布式从应用软件角度来解决这种方案现在已经有很多成熟的了……当然还要考虑到时间及维护成本。从项目工期、成本、扩展维护角度来选型吧。

khan

，学习是永恒的主题！

zuopucuen

虽然我现在还不是很懂 但是楼主我支持你

caozhangming

非常好，学习下！

eric_sxy

不错，有架构图嘛？

z_ming2005

图片服务器涉及的东西还挺多的，能否找出最佳的结合呢，需要测试其综合效果