求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
  
 
 
     
   
分享到
高性能云计算展望
 

作者:徐明强,发布于2012-3-14

 

10月28日,2011年全国高性能计算学术年会(HPC China 2011)在山东济南举行。在这一国内规格最高的HPC盛会上,HPC云计算成为一大热点,如何利用云的资源来实现高性能计算成为IT企业、科研院所和超算中心等会议代表广泛关注的话题。微软亚太研发集团服务器与开发工具事业部高性能云计算部门经理徐明强博士在会上做了《高性能云计算展望》的主题报告,提出云计算是继X86集群之后,高性能计算产业的第二个拐点,将进一步促进高性能计算的普及应用。以下是徐明强博士演讲速记。

大家好,我叫徐明强,非常感谢中国高性能计算2011年会给我们这样宝贵的机会,向各位领导、各位老师、同学们汇报,我们微软在高性能计算方面的工作。今天的汇报就是三句话。第一句话,微软在HPC领域坚持不懈。第二句话,我们相信高性能计算的未来是在云里。第三句话,我们愿意与大家共同携手,共创云计算的未来。

三句话讲完了。那么,我就该回到第一句话,首先讲到承诺呢,我告诉大家,只有一张幻灯片,为什么承诺只有一张幻灯片呢?我妻子给我上了非常重要的一课,她说,承诺你要记住八个字,那就是“简单明了,少说多做”。所以今天我就用一张幻灯片说明我们的承诺。首先,我相信在座同意对高性能计算的承诺,第一是对应用性能的承诺。张云泉老师经常说,Linpack是非常重要,但不能忽视应用性能。所以我们和诸多的应用厂商合作,经由他们测试的结果,Windows跟Linux性能是相匹敌的。除了对应用性能的承诺以外,还要对应用需要高性能I/O应用有一定的承诺。那么Windows 8基于InfinBand,我们实现了SMB这样一个RVMA,初期测试的结果非常令人欣喜,将来有机会向大家详细汇报,今天就不细讲了。

除了对传统HPC应用要支持,更重要的还是要对新兴的HPC应用,比如说Big Data处理的应用也要支持,很高兴的向大家宣布,我们马上就要发布一个叫LinQ to HPC这样一个工具。如果在座有.NET的程序员,就知道,LinQ是.NET当中应用非常广阔的数据。PlinQ就是用在多核上的LinQ工具。而LinQ to HPC,会将它扩展到集群上。所以基本上大多数程序只要将一行程序改动,就可以将多核当中的程序,变成集群上的应用。

第二句话,就是要看一看,到云当中我们的转型将会是什么样子。给大家看一个照片,来自于这张照片,我们都会同意我们所看见的是一个怪物,这样的东西能飞到云里,或者能飞到云里,还有哪些部件是必须的。很多人说,轮子可能需要用,但是不需要四个,可能只需要三个。也有人说这样的轮子没有办法落地。

还有人说,你这样赌云计算会落地吗?下面给大家讲三方面。

首先,要了解HPC产业如何转型,我们必须了解HPC产业的过去,现在和将来。过去有很多说法,虽然我原来是技术出身,架构师出身,但是现在更愿意从商业和市场方面进行探讨。大家所看见的这个图片,都不陌生。Cluster刚出来的时候,我记得很多人就说玩具而已!但是往往在IT领域,玩具枪最后就变成真枪了。你看在张云泉博士的报告当中,有多少个Beowulf Cluster?

我们就不仔细数了,但是就是Cluster的出现,使得原来的高性能计算冲破了国家实验室的封锁,冲破了先进国家的边界,到了大型企业里,到了世界各地。那么从人数上来说,所有7000万科学家和工程师当中,有1500万人能使用高性能计算机。但是在座的孙凝晖老师和我有一个共同的理想,那就是让每一个科学家和每一个工程师都可以访问高性能计算机资源。但是我们从这个图看出来,好像Beowulf Cluster的普及遇到了阻力,很多人把阻力归结为投行的错,金融风暴的错,所以我要告诫大家,千万不要当替罪羊,因为全世界的罪都要归在你头上。那么,我觉得还是要从我们产业本身内部找到原因。

云激发的HPC产业结构转型

下面要给大家看到的行业内部的结构,刚才一位院士讲到了国外在应用方面投入超过了硬件,正如这个图表示出来,在2010年,为什么用2010年的过时数据?是有原因的。因为我们现在看的产业结构,我们在一眨眼就会产生变化。那么在2010年的时候,应用是占用最多的,588亿美元的高性能计算总共的市场份额当中,占了近1/3,187亿美金。服务器硬件毫无疑问,处于第二,116亿。服务,78亿。以前所说的操作系统到底占多少呢?操作系统其实是占管理工具软件以及操作系统34亿当中的不到10%,只有2亿。所以我要告诉大家,操作系统是否会免费,不会影响最终用户在HPC上的投入。

讲完这些,大家会说,这个产业将怎样变革,这个变化将是翻天覆地的。借用一个在座爱美的女孩子所了解的一个说法,就是瘦身手术,是什么意思?瘦身手术,开刀之后,现有获得的财富或者价值,就会转移到新的Player,就叫做公有云运营商,一共要开多少刀呢?我粗略估计,不多,就五刀。

这五刀的第一刀就是开在服务器硬件这里。因为进入了云,许多的运营商采购服务器都是数以万计,所以这样就不是一个一个的买,而是一个机柜一个机柜这样去做的。所以规模效应必定让最终用户在硬件方面产生大量的节省。

第二,硬件的维护上,因为如果用户只用云的资源,他将不用再直接花费在维护上,运营商再次显示出规模效应,因为是标准的硬件,所以在维护上也会大打折扣,最终才会实现在用户开销节省上。

第三刀,砍在服务上,服务包括哪些?今天高性能计算的集群实施还是非常复杂的。不少的企业客户非要叫系统集成商帮助他们实施。如果他们只用云里的资源,那么这一部分的价值又再次转到了运营商那里去。

第四刀,开到微软自己身上,操作系统这边。就是说,以后用户也不会单独购买操作系统,如果使用云计算的话,操作系统的部分价值转移到运营商里。

最后一刀,很多人没有想到的一刀,没有地方再切了,就是切在应用上。应用怎么切?云计算运营商怎么会把应用的价值拿过去呢,并不是那么显然易见的。但是有做ISV的就会晓得,光看开销架构,发现一大部分是做在营销方面。如果在国外的话,中国必定要找代理商,这方面的开销非常大。将来云计算,昨天中计报首席记者和我聊,他觉得云计算将来会像黑洞的效应,他非常有洞见。将来云计算成为主要的资源提供商,必定会成为一个主要的应用渠道。因为在渠道方面,就像今天一个用上了Windows Marketplace,就可以免费得到全世界26个国家的免费广告,他们都意识到,将来应用的主要渠道就在云的Marketplace里面。

讲了这么多,虚线的箭头不代表简单的财富转移。公有云向用户收取的费用金额只是它为用户创造巨大节省当中的一小部分。所以,整个市场缩水了吗?其实并不如此。再谈到是否缩水之前,给大家看一下,转型之后会对产业链上各个角色带来的挑战和机遇。

第一,系统集成商,就可以变成云运营商,在英国我遇到两个系统集成商,他们说我们已经看清这个趋势了,必须要转移到云上,必须成为一个Hoster运营商,而为设计和渲染服务。

再往下,应用代理商,也是受影响的行业,他们可以在云上变成高附加值的SaaS Player,其实很多的ISV并不愿意想成为SaaS,因为他们并不是非常了解他们的最终用户,而只有应用代理商,做过培训的非常了解应用场景。

再往下,中间件市场要整合。我指的中间件,比如说作为调度器,最近IBM购买了Platform Computing。前一阵甲骨文购买了Sun。剩下的就不是很多了,也不会增多,因为这个市场将被整合。

最后,ODM,也将会加入OEM的队伍,为云计算运营商提供硬件。

云计算 – Beowulf 续集

好,刚才谈到是否缩水?要说我画的图,今天是一个零和或者负和的图片的话,我不想上来讲。但是好消息就是,云计算将会成为Beowulf 续集。大家看到的数据,是我们HPC市场部门的初步估计,他们的用户模型告诉我们,说在2017年,将会有40万个节点是专门用来负载HPC计算。很有意思的是其中超过三分之二出于企业用户,已经有高性能计算资源的用户,三分之一不到,是非企业,或者全新的用户。

那么,我们就有希望,7000万的科学家和工程师,每一个科学家、工程师都可以使用。以Beowulf为核心的时候,我们看到第一层解决的是能否购买得起机器的矛盾。第二个云计算解决的问题,虽然可以购买得起,但是管理不起,或者复杂度管理不了的矛盾。之所以,我们看到会有三分之二的企业用户,意味着私有云和公有云的无缝集成就显得特别的重要。

Windows Azure – 开放、灵活、共赢的平台

这样的转型当中,微软会扮演什么样的角色呢?现在我就要谦卑一点,我们现在所扮演的角色,就是我所站的地方,注意,不是讲台,是舞台。我们要为大家提供的是一个平台。说起平台,大家知道做一个平台最重要的秘诀是什么?加入微软才知道,最重要的秘诀很简单,就是要吃自己的狗粮。有一句口诀就是说,书到用时方恨少,然后平台到用时方嫌低,然后中间一栏,当吃狗粮。要知道平台干什么,就得把主角请上来,所以我请了三位主角上来。那么,我不妨从这三个角色的四个场景来说明我们未来为大家提供的平台,是什么样的功用。

第一,应用开发商,就用我们的PaaS平台,就可以快速启动云应用。说到这里,就必须和我们的朋友,我们的亚马逊的EC2做一个比较。我半年前跟一个应用商谈过,他们说,我们把我们的应用移植到亚马逊EC2上,我原来以为IaaS,以为是市场部的东西。现在我特别清楚了,在这上面,IaaS系统只能说给一个虚拟机,或者两三个,但拿到手上怎么办?还要自己弄成一个集群,自己还要弄做一个作业调度器把它们管理起来。他说,跟你们PaaS就不一样,我说给一个集群,就把一个集群给我,还说把应用安装上面,就把应用安装上。然后我给你一个作业,你帮我运行。那么要知道差别吗?从量化给一个例子。在一个月以前,有一个应用商只用了一个星期的时间,就将他的应用移植到Azure平台上。

那么,系统集成商,将来可以安装Windows Azure Appliance,自己就成了一个Azure的负载运营商,装我们的软件,会立刻提升竞争力。

再回到应用厂商,可以用我们的Marketplace,只要放上去,全世界各地可以帮助他做营销,最后只是take一个cut。所以,这就是另外一个商业模式,云运营商如何写支票给应用厂商。

第四个,Value Added Reseller (增值分销商), 那也是一个受冲击的行业。但他们用我们的SDK,再加上我们的Billing System (支付系统),就可以很快的搭建一个SaaS平台,为用户提供增值的服务。

其实这个框还有很多,我个人只是被我的想象力局限。

徐明强:好,由此我们可以看见,微软将是各位进入云计算最好的合作伙伴,是作为一个平台。为了印证这一点,就是第三句话,就是跟大家共同携手,创造美好未来。

从全球合作伙伴来说,我们有硬件厂商、网络设备厂商、存储设备厂商、应用厂商、中间件厂商,都是我们的合作伙伴。我们在中国也有很多的合作伙伴,我们举办了不少竞赛,跟学校合作。去年我们在同样的舞台上,也展示了我们和中科院孙凝晖老师开发的龙芯,怎么支持Excel商务效能应用。

下面介绍一下我们和上汽集团,上海超算,以及VanCloud(泛云科技)系统集成商三家一起做的仿真门户,三家演示一个私有云和公有云的无缝迁移。下面就有请三位代表上台介绍一下。

李根国:各位好,我是来自上海超级计算中心的李根国。感谢本次大会组织和微软提供这个机会。上海超算已经成立十年,已经为广大用户提供高性能计算服务。但是实际上,提供随需应变,安全可靠,方便操作的高性能计算,是用户的要求,也是我们一直追求的效率。特别是工业企业的用户,工程师希望平台系统跟超级计算门户作为的平台,做到无缝连接。无缝连接就是他操作一个工作,他不去关心作业交到哪里去,实际上我们后台都可以解决了。

跟微软长期合作过程中,特别是近两年,云计算契机之后,我们找到一条可以走的路。特别是跟上汽集团做这个工作的时候,他们也感觉到云计算的模式,真正达到前面所希望的效率。今天发布的主题,也是我们超算中心,希望借助云计算的模式,能够为广大的用户提供更好的高性能计算的服务。我们觉得微软是一个很好的合作伙伴。

张鲲鹏:大家好,我是来自于上海汽车集团汽车中心。我们的企业是在2009年和微软以及泛云科技,一起建立了我们自己的Windows HPC的Cluster集群。这个集群我们经过两年多的发展和完善,已经成为我们的汽车虚拟工程研发的支柱性的平台。现在每天在这个平台上运行大型的工程仿真作业超过100个。今天微软推出的架构,就是把我们企业的HPC平台,以上海超算中心为代表的公共云的平台,完整的整合在一起。我们相信,这样的模式必将会促进我们汽车工业的虚拟计算能力的提升,为中国汽车的自主研发创新,带来新的动力,谢谢!

龚炜:大家好,我是泛云科技的,我叫龚炜,今天有这个机会跟大家见面,感谢徐博士给予的好机会。我们是一家系统集成商,现在主要给上汽提供HPC的解决方案。关于这次合作,我想分享一下小故事。我大概在2005年的时候,那个时候就认识李根国博士,那个时候他就跟我说,你知道超算中心是做什么的吗?我当时说,对于软件我不太清楚。他就跟我说,未来的超算中心,就像是现在你所用的电厂、水厂,只要打开水龙头就可以使用高性能计算,当时我听完之后非常激动,这是一个行业的机会。等我的激动稍微平复之后,我听到一个新的名词叫云计算。紧接着看到一场IT产业的革命了。当时看到IT产业的革命之后,我当时第一感觉是很庆幸。

第一,2005年就经受了李博士给我的洗脑,已经知道这个信息。第二,我所在的公司,刚好叫泛云,广泛的云计算,没有比这个名字再好了,紧接着就被卷入这场浪潮。刚开始说老实话,有点被动,但是被动状况没有持续多久。因为徐明强博士点拨了我们。他说,HPC将来也是云计算的趋势。我清楚的记住一句话,高性能计算以后不再是阳春白雪,给我印象很深。徐博士团队的产品,HPC Server 2008,已经可以让所有用Windows的人,能够使用高性能计算。我们泛云科技作为系统集成商,我们的目标是让所有会上网,会用IE的人,就能使用高性能计算。我们得到徐博士的指点之后,我个人有点膨胀,认为自己也算是HPC圈子内的人士了。但是今年上半年,张博士跟我说了一句话,给我当头一棒,他说泛云科技最大的价值,不在于HPC应用集成,说泛云科技的最大价值,就是能够实现企业一直想实现,但难以实现的叫计算资源管理策略。

这个立马浇了我一盆冷水,我心里想,一句话将我踢出了HPC的圈子。但是张博士又说了一句话,他说,如果你们泛云科技能跟微软一起合作,把上海超算中心的资源,和我们企业内部资源整合起来,那才是我们需要的云计算。张博士有水平,立刻将我的失落弥补了。紧接着直接促成四家单位的合作。这是我们合作的渊源,分享给大家。也希望大家对我们的平台多提意见。最后,再次感谢三位博士对泛云的支持和建议。同时希望在座各位专家,以后给泛云科技更多的帮助和支持。谢谢!

 
分享到
 
 
     


专家视角看IT与架构
软件架构设计
面向服务体系架构和业务组件的思考
人人网移动开发架构
架构腐化之谜
谈平台即服务PaaS
更多...   

相关培训课程

云计算
Windows Azure 云计算应用开发