1 工商银行数据中心集中控管系统需求分析
1.1 背景
工商银行现正在新大楼的二层、四层建设两个先进完备的数据中心机房。由于有一定数量的操作人员需要通过在总控室内对机房内大量的集中放置的应用服务器和网络设备进行管理,并且考虑到老机房内的AMX集中控管系统的统一管理,现正在寻求一种能够满足这种特别需求的解决方案,以便使有关操作人员不必进入机房内也能操控所有三个机房区域内的所有服务器设备,且当系统规模扩张时仍能保持整个系统的完整性而达到管理上的简单有效。
1.2 客户需求
根据通盘考虑,整个工行数据中心机房的众多设备需在一个整合了多种机房系统资源的集成大平台上得到统一管理,以解决因大量设备分散分布所带来的管理上的不便性,免除了众多不必要的外围设备而节省大量空间,使得各管理员可在ECC总控中心由一套键盘、鼠标、显示器组成的控制台便可登陆所有三个机房内的各种服务器设备,方便快捷地排除机器故障。对某些重要级别较高的服务器,还可实现远程数据迁移等深层次功能,从而更有效地保障整体机房的正常运营。具体需求如下:
1)机房设备众多,有大量PC服务器及设备等,运行平台也不尽相同,需统一接入集中控管系统;
2)需有统一的终端控制平台,既可对二楼、四楼新机房内的所有服务器设备进行统一管理,也能兼容老机房内原有集中控管平台;并针对服务器的高并发访问频率,实现高比率8通道控制访问;
3)需考虑使用安全可靠的系统架构及有效的用户权限保障系统,保障数据中心的安全性,并能支持IPMI的服务器以及具备Virtual
Media的远程数据迁移能力等;
4)需考虑与ECC监控中心坐席分布问题以及与大屏等机房硬件设备的整合问题;
5)良好的系统再扩容能力;
6)便捷的故障处理能力;
在综合考虑了以上各因素及与工行领导反复探讨后,我方经过反复研究,推出以下合理化方案供各位领导参考。
2 工商银行数据中心集中控管系统针对性解决方案
根据工商银行总体机房建设要求以及具体服务器列表清单,按满配1184台服务器设备的规模,建议如下结构的集中控管系统:
2.1 高端纯数字DSR解决方案
2.1.1 配置清单
![](images/1528021.jpg)
2.1.2 系统拓扑图
![](images/1528023.jpg)
2.1.3 方案实现概述
本方案采用数字切换设备DSR8035实现IP用户全域控制二楼新机房、四楼新机房及老机房内的所有设备。二楼新机房内的736台Server的KVM端口都与DSRIQ转换线缆上的KVM接口进行连接,再将DSRIQ上的RJ45传输端口通过五类线缆按照32个一组划分分别按需求连接至DSR交换机的服务器端口(RJ45)上;DSR交换机的以太网络接口(RJ45)通过普通五类线缆连接至专用以太网上。ECC总控中心的操作用户可通过AMX5110用户工作站,直接访问原有老机房内的所有服务器设备;也可以通过AMX5110工作站独有的本地端口,切换至本地终端机,通过放置于机房区域内的多冗余的中央集中认证服务器系统(Hub-Spoke)的身份验证后,利用终端机所带有的的网络浏览器(IE等)对所有连接至系统的服务器进行统一管理,并实现高达8通道数访问、Virtual
Media远程数据迁移功能及对支持IPMI服务器的管理,从而实现从单点技术管理、普通系统管理、区域本地管理过渡到全面集中管理、安全系统管理和远程控制管理。
2.2 Avocent机房系统资源整体解决方案实施建议
1) 完美的集中统一管理
工商银行数据中心内服务器设备众多,且分布于二楼新机房、四楼新机房及老机房三块区域内,而由于老机房内采用的是模拟矩阵交换管理系统,如何将这三块区域集中统一地通过同一终端来进行全面管理成了各位领导最为关心的问题。
Avocent解决方案利用了AMX5110工作站具有的“本地端口”的独有特性,使得对三个区域的各种设备的管理可在同一套终端上得以完美实现,而在各系统之间的切换仅通过键盘热键操作即可完成,极大地提高了操作维护工作效率,也很好地保护了原有机房投资。
2)安全权限设置
Avocent数字解决方案针对工商银行应用,设置了多层用户安全级别控制方式:
I)多种外部认证方式
Avocent解决方案支持多种外部认证方式,如:NT Domain,Active Directory,LDAP等,极大增强了系统的安全完备性。
II)服务维护人员登录
可通过DSView系统针对不同用户设置不同等级的用户权限,管理相应的服务器;任一用户在访问终端设备前,必须先通过多冗余设计的认证服务器(Hub或Spoke)的严格权限验证(SSPI、AASP专用安全协议),成功后才能访问到具有相应的终端设备并进行相应权限的操作,此其间所有的鼠标、键盘及视频信号的传输皆采用可选方式的DES,3DES,128位SSL加密算法,并可结合利用防火墙的端口设置等功能,最大程度地保障了系统的安全性能。
![](images/1528025.jpg)
III)绑定IP控制
DSView具有的强大功能使得系统可指定访问用户的IP地址列表,使得仅在此列表中存在的IP网段内的访问用户可以访问到DSView系统,防止了各种外部无效访问,大大增强了系统的严密性。
![](images/1528027.jpg)
3)ECC布置建议及与大屏幕系统的衔接
工商银行数据中心的ECC监控室内接有大屏拼接系统,使得对服务器的诊断及各种日常监控可在大屏幕上实现操作。现对ECC区域的布置建议如下:
ECC内共设有24个坐席,其中5个设为管理员专席,其余根据其具体应用划分为生产管理区域以及OA管理区域,在ECC区域内,靠近大屏拼接的一排坐席设置为生产管理区域,共10个坐席;另一排设置为OA管理区域,共9个坐席。如下图所示:
![](images/1528029.jpg)
而针对大屏幕系统的接入,Avocent有着多年的整合经验,可通过大屏系统的主控台,实现对投放画面的位置及大小的设定,当此坐席对终端设备进行切换操控时,不仅可在本地显示器上进行操作,还可通过大屏幕系统将其视频信号在大屏上显现出来;同时可利用独有的分屏显示功能,使多个(最多支持30个)终端设备视屏信号在同一大屏幕上同时显现,增强了显示效果,方便集中管理。此解决方案在多宗银行、电信、政府案例中皆得到了广泛应用。
![](images/1528031.jpg)
4)先进的Virtual Media管理方式
工商银行数据中心里服务器及设备总类繁多,重要性等级也不尽相同,Avocent集中控管系统从实际需求出发,提出了重要设备重点对待的处理策略,并结合DSR设备独有的Virtual
Media功能,提出以下的先进管理模式:
对重要性级别较高的服务器,采用专用DSR设备进行级联,利用其独有的总线延长技术(Bus-Extension),使得对服务器的操作达到硬件级别的远程数据迁移能力,可将本地的光驱或是磁盘映射成为目标服务器上的一个盘符,并可利用映射盘符从本地光驱实现Boot
From CDROM,从而不必再进入机房区域放置各类CD即可从本地CDROM实现对服务器进行远程数据迁移等深层次功能,再也不必为了系统的应用程序或补丁安装而穿梭于机房内外了。
![](images/1528033.jpg)
![](images/1528035.jpg)
5)对具备IPMI接口服务器的管理
Avocent的解决方案还可以提供操作用户对支持IPMI接口的服务器(例如IBM X Series,HP Proliant,HP
Netserver,Dell PowerEdge Series)实现电源的远程控制,实现远程开/关机,并可在统一的软件界面上显示该服务器主板温度、CPU温度等等各种机器信息,方便管理员监控,同时这些服务器信息也可纳入到机房整体监控平台上。
![](images/1528037.jpg)
![](images/1528039.jpg)
2.4.1 Avocent机房集中控管系统总结
完备的集中认证体系:AVOCENT的全数字IP技术完全实现数字远程用户通过集中安全认证系统对机房内所有设备进行统一集中管理,确保所有用户在访问终端设备前,必须先通过认证服务器(Hub或Spoke)的严格权限验证(SSPI、AASP专用安全协议),通过后才能访问到具有相应管理权限的服务器及设备,避免了众多用户对KVM交换机的不安全直接访问,最大程度地保障了系统的安全性能,同时支持在机房内的本地操作。
可靠的备份冗余方案:采用冗余认证机制,对系统的核心认证服务体系做冗余处理,而由于此次工商银行数据中心规模较大,故只考虑主备两套冗余认证系统显然是无法满足实际需求的,在本方案中,我方提出了多冗余集中认证体系,使得系统的完备性得到最大化,并通过Hub-Spoke架构使得各认证服务器上的系统信息保持数据同步,故当系统中任意一台或几台认证服务器出现故障时,用户认证可实时切换至任意一台完好的认证服务器(Hub或Spoke),完全实现认证系统7X24小时无故障,大大增加了系统的可靠性;且对于陆家嘴同城备份中心而言,可通过本地Spoke认证服务器的权限验证,快速实现对远程服务器的完全掌控,极好地实现了系统负载均衡;而对于以后银行业务扩展后的各异地分支机房,Avocent也提供了最多支持16台冗余认证服务器集中认证系统,极大地保障了系统的完备性。
安全的基于IQ而非基于交换机端口的验证机制:由于DSR系统是针对DSRIQ进行验证,而不是针对DSR设备的端口进行验证,故而对于服务器连接到DSR设备的哪一个端口而言,是无需关心的,这样处理一方面使得系统管理员无需对DSR设备的每一个端口所连接设备进行记忆,另一方面也使得在今后可能发生的整改过程中,系统管理员不必再因每台设备的位置改动做相应的端口改动记录,省去了诸多根本不必要的繁琐操作,大大提高了工作效率。
合理的交换机端口比例:考虑了服务器设备堆放过于集中而对机房总体环境及整体负荷因素的影响,AVOCENT数字集中控管系统设备的单台服务器端口数量设计为16个,而并发通道用户数量从2个至8个不等,极好地避免了因众多设备放置过于集中而带来的对机柜的通风、电源、温度、承重等诸多影响,降低了机房的运营成本,保持了机房的优良整体环境。
整合了多种机房资源的统一平台:AVOCENT集中控管系统支持多种服务器及其他硬件设备,支持多种硬件平台(包括SUN、PS/2、USB以及Console口等接口类型)、多种操作系统,支持串口设备(小型机、网络设备等等),为终端用户提供一个整合了多种机房资源的统一平台,使得所有机房内的服务器、小型机、串口设备及网络设备得以在DSView的统一平台上完全受控,并能与机房内的其他硬件设施(如大屏系统等)完美结合,真正实现对机房系统资源的完全掌控。
纯五类线缆布线连接:本次方案中采用的各集中控管系统设备之间的连接线缆以及终端服务器、网络设备和集中控管系统设备之间的连接线缆全部为五类线缆,摒弃了冗长的专用KVM线缆,使得机房更简洁整齐。
独特的视频增强功能:AVOCENT高端数字集中控管系统本地端为模拟信号,自动匹配目标服务器的视频信号,远程为数字信号,采用最新DVC技术,可支持16Bit真彩显示,与在本地操作无异。
独有的差异信号传输方式:AVOCENT数字集中控管系统对键盘、鼠标及视频信号采用128位DES、3DES、SSL可选完全加密,对视频信号的传输仅将其差异部分进行加密,保证正常使用时网络带宽占用最小化,增加了传输安全性。
独有的“退出宏”安全增强功能:可实现当每次KVM进程被关闭后,被监管服务器自动实现锁屏功能——即自动返回至提示输入服务器登陆信息(用户名及密码)界面,降低了不必要的安全隐患,进一步增强了系统的整体安全性。
对低端模拟KVM设备的兼容性:AVOCENT的设备采用标准的接口技术,产品具有很强的兼容性。AVOCENT和IBM、HP、DELL等服务器厂商合作紧密,为各服务器厂商提供KVM产品的OEM服务。对IBM、Dell品牌的KVM切换系统的兼容性很强,可以实现新老系统的无缝兼容,做到一层菜单管理。同时也支持其他标准KVM产品的连接。
AVOCENT高端数字集中控管系统解决方案的成熟性:AVOCENT KVM OVER IP全数字集中控管技术是针对于专业数据机房的集中管理系统,推向市场已近五年,系统方案及产品很成熟,目前在全球众多的服务器端口使用了AVOCENT
DSR系统,在中国的银行、证券、企业、电信及金融等行业也有大规模使用。
|