摘要:Per
Brashers,现Yttibrium公司创始人,曾总管Facebook的整个存储部门。他发明创造了若干对业界具有深远影响的存储平台,名下共拥有21项(含待发)专利发明。
硬件的改造将对软件行业产生重大影响
Per从存储、控制器(或网络)、内存、CPU、数据中心环境五个点着手,分享了硬件领域的变革趋势,并分析了这些变革对应用程序的影响:
一、 存储
1. 存储的趋势:SATA-4被IETF否决、混合类型磁盘将大有可为、对象存储正在侵蚀整个世界、SSD在短期之内仍然得不到完全利用、云存储将减少机构的内部磁盘采购、移动计算将完全建立在SSD上、专为大数据设计的新类型磁盘将诞生、机构将被新类型的磁盘密度问题困扰。
2. 磁盘耗电将影响到采用。相信不久后,2.5英寸磁盘就会被广泛的用于大数据场景,除下有人能找到优化3.5英寸磁盘的电能消耗方法。
3. 磁盘性能增加遥遥无期。在过去,磁盘访问速度增长相当可观,但是在2000年后,整整13年都毫无提升。
4. 基于历史的推测。在过去,容量增长呈线性增加,但是当下基本上已到一个瓶颈。
5. 磁盘密度未来堪忧。随着密度增加放缓,游戏规则已经被改变:首先,当下的探索已转变为数据的寿命,同时减少运维已经成为大家追逐的目标;其次,在之前,磁盘技术迭代时间是3年,然而当下已转变为5年,磁盘使用寿命也必须随之增加,毫无疑问,这将对RMA值和销售增量产生影响;最后,新的控制器需要针对现有数据集的数据存放空间及启动性能设计。
在数据爆发的当下,如此堪忧的前景将会对应用程序设计产生众多影响,这里主要从发展情况和数据持久上看:
1. 发展情况
不要期待存储容量在短时间内的爆发增长
对闪存的依赖增加,然而API还不能完全的成熟使用闪存
针对大数据的磁盘设计可能成为一条出路,然而持久性将成为致命缺陷
2. 数据持久
新的替代方案可能不会带来本质性提升,除非应用开始就针对其设计
拆分RAID将提供类似DEC的效果,机架和层布局需要设计成为为系统的一部分
针对RV和缓解bit-error速度设计可能会有助于性能提升。如果应用可以纠正一些bitwise错误,并重试那些无法被修复的,系统的IOPS将会显著增加
二、 控制器/网络
控制器及网络发展趋势:性能更强,体积更小;12GBb可能是最终状态;SAS和PCiE将是这个领域的角逐者;PHY
add-ins将需求更复杂的配置;芯片销售将被拆分;DMA/RDMA已经成熟落地;设备级的合作将增加,机构的目标将放到RAID拆分上;T10-diff及其他校验/安全特性;传统的RAID仍然是主要收入来源;网络将会有巨大的改变,比如SAS/PCiE/Silicon
Photonics及OpenFlow/“Agnostic Networks”。
基于控制器/网络的改变又会给应用程序带来什么样的影响?这里同样从发展情况和数据持久两方面来看:
飞速发展
新类型的通信渠道将出现,Open Socket,可增加设计,封闭的Socket将会被取代
控制器的智能化,新的应用程序和驱动可以从中获益
新的密度解决方案将带来IOPS并节约电能,闪存的辅助将弥补转速的不足
数据持久
数据最终将变得可以移动,非分层拓扑将提供更好的带宽
许多持久性任务可能会被下压,比如加密、错误处理等
网络的聚合意味着更多的预留容量,QOS已老,新的思想需要被建立
三、 内存
1. 这是一个变革的时代:许多玩家都在引进新的、密集的、更慢的DRAM替代方案;所有人都在期待内存的可持久化。
2. 3D NAND的实现:Toshiba的演示、其他供应商准备在2014年发布产品及以移除DRAM为目标(更密集的“dimm”及主机内存的持久化)。
那么,内存的改变对应用程序设计又意味着什么,下面从发展和数据持久两个方面解读:
发展趋势
主板上允许更大容量的内存,特别有利于内存数据库发展
访问时间将增加,这点对内存数据库可能会有一定的影响
成本曲线仍然很高
数据持久
更多的写入周期、散热和恢复问题被解决
“自愈”固件将对错误处理起到帮助
有助于防止数据丢失,但是在旧数据处理上会存在问题
四、 CPU
CPU趋势:频率上的文章已经消失;多核和offload的关注继续增加;库和其他编译时辅助变得普及;移动市场驱动的低功率组建提供了许多有趣的拆分选择,按需组装和释放网络组件,软件定义计算机的时代来临。
对应用的影响。发展方面:越来越多的in-card运算,性能增加带来的极端密度,新的库需要验证应用性。数据持久方面:更多的线程、更多的核心,更多的碎片,需要注意门槛;拆分意味着更多的错误检查,offload可能有所帮助,但是你可能还是期望对方法进行更严格的校验。
五、 数据中心
数据中心环境主要涉及3个部分,数据中心设计、电力分布及机架/服务器/存储。据统计,21%公司都运营了一个智能数据中心,数据中心在新项目的投资超过50%。随着数据中心占整个IT界计算比重的增加,更多的二氧化碳(电能供应)、热量、污水等被排出。同时,鉴于高热等因素,更多的铜、银等材料被腐蚀,而存储介质故障率增加更是亟待解决的问题之一。如此情况下,应用成熟又会受到什么样的影响?
首先,发展
数据中心环境并不可以一朝一夕被解决,但是设备供应商会努力的克服这一点,它们并不希望看到更多RMA上的开销。
更大的设备意味着灵活的工作负载转移,与DCiM工具的整合将有助于数据中心的正常运行。
其次,数据持久
应用程序将承担更多的可用性职责,数据中心故障不可避免。DCiM有助于转移负载,从而避免宕机。 |