前言
高性能计算,又称超级计算,是计算机科学重要的前沿性分支,它不仅是一个国家综合科研实力的体现,更是对国家安全、经济和社会发展具有举足轻重的意义,是公认的国家科技发展水平和综合国力的重要标志,已成为各国竞相抢占的科技竞争战略制高点,全球仅美国、日本、中国拥有超级计算技术。高铁和超级计算是美国唯一公开承认中国能与之比肩甚至超过美国的技术和产业。
高性能计算是科技的基础产业,应用上可支撑: 核试验模拟、石油勘探、气象预报、农业育种、医疗服务、新药研制、动漫渲染、材料设计、金融计算等,几乎涉及人类科学和生活的每一个领域。一般来说,凡是需要大规模数值模拟计算和大规模数据分析处理的情形都可以利用超级计算机进行加速,同时还可以协助探索超宏观(如宇宙)、超微观(如纳米级)、极端环境(如人造太阳)等实际工作环境难以实现的研究。据IDC报告,2015年全球超算市场规模约250亿美元,其中,高性能计算机系统(包括服务器、存储和网络)约占60%,软件和服务约占35%; 并预测2015—2020 年超算市场规模将以8.3%的复合增长率迅速扩大,在2020年将达到440亿美元。
另外,深度学习和人工智能被认为是2020年前最有希望颠覆人类生产和生活的技术,而它与超级计算密不可分。从深度学习的模型训练,到模型推理都依赖于超算技术。目前,深度学习已经渗透到文字、语音与影像的识别与处理、生物、医药与医疗、娱乐与媒体、精准营销、国防与安保、自动驾驶与无人飞行器等多个方面。到2020年,预计深度学习应用市场将达到400亿美元。超级计算同时也已经与大数据结合,成为大数据相关产业的技术基础,在此之上可以进行城市规划,实现相关惠民服务,包括政务、交通、社保、医疗、教育、就业、城市、帮扶、电商等惠民服务。此外,还有医疗大数据、空天大数据、气象大数据、环保大数据、金融大数据等一系列朝阳性应用。
中国政府从“九五计划”开始就一直支持高性能计算的技术、产业、应用的发展。国家“863计划”推出了一系列高效能计算机系统,2008 年的深腾7000的计算性能是每秒150 万亿次,曙光5000A是每秒230 万亿次; 2010 年推出了曙光每秒6000万亿次和每秒3000 万亿次,天河一号是每秒4700 万亿次。2011 年,我们用国产的处理器推出了每秒千万亿次系统神威蓝光,这是一个里程碑式的成果,解决了国内用自主研发的处理器实现千万亿次系统的突破。2013 年6 月,世界超级计算机500 强中,天河二号名列第一,其峰值速度达到了每秒5亿亿次。“863 计划”也启动了第二台10 亿亿次的计算机研究,由神威蓝光团队研制的基于自主芯片的太湖之光超级计算机,当前位列Top500排名第一。此外,截至2016年,中国科技部批准建立的国家超级计算中心共有7家,分别是国家超级计算合肥中心、国家超级计算天津中心、国家超级计算广州中心、国家超级计算深圳中心、国家超级计算长沙中心、国家超级计算济南中心和国家超级计算无锡中心。可以看到,在系统研制和环境建设方面,我们已经走到了世界领先的地位。
近年来,E级计算成为高性能计算一个新的发展目标。2013年,以Prace为首的欧洲超算联盟又启动2020地平线计划及基于ARM架构的E级计算原型系统的“稻草人”计划。2015年,美国白宫提出了国家战略计算计划(National Strategic Computing Initiative),用以最大化超级计算的研究、开发、部署能给美国社会所能带来的福利。
2016年以来,中国政府加大了对超算的支持的力度,发展E级高性能计算机及其相关技术。2016年10月9日,习近平总书记在中共中央政治局第三十六次集体学习时强调“要紧紧牵住核心技术自主创新这个‘牛鼻子’,……,推动高性能计算(超算)、移动通信、量子通信、核心芯片、操作系统等研发和应用取得重大突破”。2016年12月,国务院印发《“十三五”国家信息化规划》指出: “十三五”时期要大力发展先进计算技术,重点加强E级计算(超级计算全球最前沿技术,每秒运算性能达到百亿亿次)、云计算、量子计算、人本计算、异构计算、智能计算、机器学习等技术研发及应用。科技部已经按照“十三五”的规划要求,启动“高性能计算(超算)”重点专项2016年度项目和2017年度项目。其中,2016年专项围绕E级高性能计算机系统研制、高性能计算应用软件研发、高性能计算环境研发等三个创新链(技术方向)部署了20个重点研究任务; 2017年专项则围绕E级计算机的编程模型、算法、示范应用及特定行业应用软件研制展开。
尽管如此,高性能计算的应用却往往躲在屏幕之后,不为大众所熟知。此外,由于高性能计算的产业链长而复杂,很多IT研究人员对应用了解的并不多,而且不同应用方向的研究人员之间也是隔行如隔山。其次,中国的超级计算机如星云、天河、太湖之光都在世界排名中名列前茅,不少国外的专家质疑我们只是用钱堆出个机器,并不是真正地把高性能计算机用起来。再次,E级计算机原型系统以及将来的E级计算机即将部署,我们需要对以往的高性能计算应用进行归纳,进而为运算速度更快的新一代超级计算机的高效运行与利用打好基础。正是因为这些考量,笔者邀请了业内相关专家学者一起编著了本书。
本书由中科曙光公司牵头,参与单位近二十家,较为全面地反映了中国高性能计算应用的现状。同时我们邀请了中国超算创新联盟对未来的高性能计算技术和应用做了展望,相信可以供高性能计算技术的研究人员、应用专家、相关政策的制订者,以及该技术的爱好者参考使用。
本书得到了国家重点研发计划高性能计算重点专项2016YFB0200300和2016YFB0200100的资助,特此表示感谢。
对于本书的编写工作,各位作者付出了极大的心血和努力,将自己多年积累的高性能计算相关知识和经验予以整理共同完成了此书。然而,编写时间仓促,精力有限,书中难免会有所疏漏,敬请读者批评指正。
历军
2018年3月中关村软件园