| UnitedStack块存储系统
分布式存储有出色的性能，可以扛很多故障，能够轻松扩展，所以我们UnitedStack使用Ceph构建了高性能、高可靠的块存储系统，并使用它支撑UnitedStack公有云和托管云的云主机、云硬盘服务。
由于使用分布式块存储系统，避免了复制镜像的过程，所以云主机的创建时间可以缩短到10秒以内，而且云主机还能快速热迁移，方便了运维人员对物理服务器上硬件和软件的维护。
用户对于块存储系统最直观的感受来源于云硬盘服务，现在我们的云硬盘的特点是：
1.每个云硬盘最大支持 6000 IOPS和170 MB/s的吞吐率，95%的4K随机写操作的延迟小于2ms
。
2.所有数据都是三副本，强一致性，持久性高达10个9。
3.创建、删除、挂载、卸载都是秒级操作。
4.实时快照。
5.提供两种云硬盘类型，性能型和容量型。
软硬件配置
经过多轮的选型和测试，并踩过无数的坑之后，我们选择了合适我们的软件和硬件。
软件
硬件
从SATA磁盘到SSD，为了提高IOPS和降低Latency。
从消费级SSD到企业级SSD，为了提高可靠性。
从RAID卡到HBA卡，为了提高IOPS和降低Latency。
最小部署架构
随着软硬件的升级，需求的调整， 我们的部署架构也不断在演进，力求在成本、性能、可靠性上达到最佳平衡点。
最小规模部署中有12个节点，每个节点上有3块SSD。节点上有2个万兆口和1个千兆口，虚拟机网络和存储网络使用万兆口，管理网络使用千兆口。每个集群中都有3个Ceph
Monitor节点。
轻松扩展
云计算的好处是极强的扩展性，作为云计算的底层架构，也需要有快速的Scale-out能力。在块存储系统的部署架构中，可以以12台节点为单位进行扩展。
改造OpenStack
原生的OpenStack并不支持统一存储，云主机服务Nova、镜像服务Glance、云硬盘服务Cinder的后端存储各不相同，造成了严重的内耗。我们把这三大服务的后端统一起来，进行高效管理，解决了虚拟机创建时间长和镜像风暴等问题，还能让虚拟机随便漂移。
原生的OpenStack
改造后的OpenStack
使用原生的OpenStack创建虚拟机需要1~3分钟，而使用改造后的OpenStack仅需要不到10秒钟时间。这是因为nova-compute不再需要通过HTTP下载整个镜像，虚拟机可以通过直接读取Ceph中的镜像数据进行启动。
我们还增加两个OpenStack没有的功能: QoS 和 共享云硬盘。云计算的另外一个好处是租户资源隔离，所以必备QoS。共享云硬盘可以挂载给多台云主机，适用于数据处理的场景。
我们还使用了OpenStack的multi-backend功能，支持多种云硬盘类型，现在我们的云硬盘类型有性能型、容量型，可以满足数据库和大文件应用。
高性能
存储系统主要的性能指标是IOPS和Latency。我们对于IOPS的优化已经达到了硬件的瓶颈，除非更换更快的固态硬盘或者闪存卡，或者是改变整个架构。我们对于Latency的优化也快接近完成，可以达到企业级存储的水平。
复杂的I/O栈
整个块存储系统有着长长的I/O栈，每个I/O请求要穿过很多线程和队列。
优化操作系统
优化操作系统的参数可以充分利用硬件的性能。
CPU
关闭CPU节能模式
使用Cgroup绑定Ceph OSD进程到固定的CPU Cores上
Memory
关闭NUMA
设置vm.swappiness=0
Block
设置SSD的调度算法为deadline
FileSystem
设置挂载参数”noatime nobarrier”
优化Qemu
Qemu作为块存储系统的直接消费者，也有很多值得优化的地方。
Throttle: 平滑的I/O QoS算法
RBD: 支持discard和flush
Burst: 支持突发请求
Virt-scsi: 支持多队列
优化Ceph
我们对于Ceph的优化是重头戏，有很多问题也是时间长、规模上去之后才暴露出来的。
|
