Linux集群在石油行业的应用现状及发展趋势

2022-03-22 11:05:05 | 浏览次数:

摘要 因在性能价格比、可靠性、可扩展性、可管理性和应用支持性等方面的明显优势,Linux集群正成为石油行业的主要解决方案。介绍Linux集群的相关概念,论述石油行业选择Linux集群作为应用平台的综合因素,分析Linux集群在国内石油行业的应用现状,概括总结Linux集群应用的相关结论并预测其发展趋势。

关键词 Linux集群 高性能计算 Pc Cluster 地震资料处理 油藏数值模拟 发展趋势

中图分类号:TP3 文献标识码:A 文章编号:1671—7597(2009)0410115—02

一、概述

集群(Cluster)指利用高速通信网络将一组高性能工作站或高档Pc机连接起来形成松耦合的多处理机系统。对于用户来说,集群就是一个整体的并行计算系统,其主要通过消息传递方式实现各节点之间的通信。集群的研究是由美国国家航空和航天管理局于1994年上半年发起的。当初只有16个节点,主要用来进行地球、空间科学的研究,其目的是使用普通的、相对廉价的计算机构建能够处理繁重计算的集群。此后这种思想迅速被世界上许多研究机构认同和接受。其中Linux以其自由开放、经济和高效成为不可或缺的一种主要集群类型。

所谓Linux集群,就是利用商品化的工业标准互联网络将各种普通Linux服务器连接起来,通过特定的方法向用户提供更高的系统计算性能、存储性能和I/O性能,并具备单一系统映像(SSI)特征的分布式存储多指令流多数据流(M1MD)并行计算机系统。Linux有多种集群系统可供选择,适合于不同的用途和需要。最常见的3种集群类型是高性能科学集群、负载均衡集群和高可用性集群。目前,集群式高性能计算系统是油田三维地震叠前深度偏移和油藏数值模拟的高性价比解决方案

二、Linux集群作为石油勘探开发平台的综合因素

随着技术的发展和进步,石油公司需要处理的数据量呈指数级速度增长,用户对高性能计算的扩展性、稳定性以及先进技术的需求性日趋增高,地球物理勘探、油藏描述等长期大量使用高性能计算机的专业更是如此。石油行业选择Linux集群作为应用平台主要基于以下4个方面的原因。

1 基于Linux平台的Pc Cluster更适于叠前偏移等密集型算法。随着油田勘探开发工作的不断深入,大量的地震资料叠前偏移处理任务需要花费越来越多的CPU时间,如果完全选择基于Unix的超级计算机系统则需要巨大投资。正是由于Pc集群高性能并行机的性能价格比优于基于Unix的并行机并且具有极强的可用性、可扩展性和可管理性,用它来完成密集算法将大大节省昂贵的CPU资源费用。

2 数据处理面临Unix并行机老化且常规处理能力严重不足的实际问题。目前国内使用的Unix大型机已经很难解决数据处理过程中所面临的难度越来越大、处理周期越来越短、数据量越来越大和资料所在区地质构造越来越复杂等实际问题。如果进行升级,其高昂的投资成本却离用户的实际承受能力越来越远。而如果采用基于Linux平台的Pc Cluster,不仅能大大降低成本,而且性价比远远优于昂贵的大型计算系统。

3 许多新的处理算法需要消耗更多宝贵的CPU资源。如地震数据处理中的模拟退火静校正(ARSCSA)、倾角时差校正(DMO)、地表一致性反褶积(SCD)、地表一致性振幅补偿(SCAC)、叠前时间/深度偏移(PSTM/PSDM)等都需要大量的CPU资源。目前的Unix并行机主频太低、内存太小,很难实现新的处理流程,而Pc Cluster正好适合于这种密集型的科学计算。

4 基于Linux平台的高性能价格比Pc专业图形工作站、配备高性能图形卡、安装配置本地化交互软件与Pc Cluster一起构成了地震数据交互处理的有效解决方案。既可实现交互软件与服务器节点独立使用又可在本地PC工作站上直接运行应用程序,从而有效解决了在远程主机上运行应用软件导致交互速度响应慢的问题。

三、Linux集群在石油行业的应用现状

目前,Linux集群在石油行业的应用主要集中在地震资料处理和油藏数值模拟两大领域。因数据量大、计算量大、通信量大等专业特点,地震资料处理成为Linux集群发挥自身优势最主要的平台。

(一)地震资料处理平台

早些时候,辽河油田、新疆油田、青海油田等企业采用了IBMLCl300集群系统。2002年10月,中国石油东方地球物理公司涿州物探研究院将曙光4000L Linux/PC Cluster作为应用平台。2004年涿州物探研究院和新疆油田公司把由IBM eServer BladeCenter刀片服务器组成的Linux集群用于石油勘探地震资料处理的高性能计算,分别共194个节点和200多个节点。同年7月,东方地球物理公司研究院大港分院采用HP ProLiantBL20P G2刀片式服务器搭建的Linux集群地震资料处理系统正式投产。整个系统共133个节点、266个处理器,浮点计算能力达到1.4x1012次/s,能够提供更精准的地下构造及地下成像。

2006年10月,国内最大规模的集群地震资料处理系统在大庆油田勘探开发研究院正式投入使用。该系统采用了刀片服务器集群架构,集成了692台惠普公司的第三代服务器产品HPBL20PG3、HPDL380G3和HPDL580G3服务器,选用了1432个英特尔至强处理器,浮点计算能力峰值超过9.8x1012次/s,位居中国刀片服务器集群系统榜首,是国内处理规模最大、系统配置最优、技术性能最好的地震资料处理系统。

中国海洋石油东方数据处理中心和南海西部计算中心在2004年分别采用两套曙光4000L Linux/PC Cluster超级计算机构建了位于天津塘沽和广西湛江的两大地震数据处理系统:一个面向渤海,一个面向南海。2005年,中海油引进的Linux集群系统共81个节点,主要用于地震资料叠前深度偏移及时间偏移资料处理工作。

2004年,中石化的一个大型勘探开发集群项目采用了IBM Lc1350集群系统,规模是452个节点。在中石化北京勘探开发研究院、胜利物探研究院、江汉物探分院、西南物探分院4个不同地域搭建了一个大型的刀片集群系统。

中石化胜利油田物探研究院早在2001年就开始使用Linux集群进行地震资料处理。目前,该院拥有Rebel、IBM LCl350、IBM eServer BladeCenter、RackSaver、Verari、IBM BladeCenter HS21、曙光天潮集群等多套Linux集群系统。2007~6月,物探研究院完成处理系统第三次升级,整个系统微机集群节点达到2000个,处理系统由过去的IBM sP并行机为主升级为具有国际先进水平的Pc Cluster计算机集群为主:系统浮点运算速度由1998年的340x108次/S、2002年的ixl012次/s、2004年的近5x1012次/s到目前50x1012次

/s的理论计算能力:配备有Omega、GeoCluster、Views、GeoDepth等世界先进的地震资料处理软件,能够进行三维常规连片、叠前偏移成像、多波多分量、迭前属性等处理工作,其技术水平同步于国际先进水平。

(二)油藏数值模拟的主要解决方案

油藏数值模拟在空间上可以描述油田全貌,在时间上可以重现油田开发历史、评价开发效果并预测油田未来的开发动态,实现对油田开发过程的仿真模拟。它对于研究剩余油分布、促进我国相当部分已进入高含水后期老油田的高产/稳产具有重要意义。随着油田开发的深入,油藏数值模拟对硬件系统的性能需求越来越高:开发后期的油藏剩余油分布和压力分布等越来越复杂,模拟这种复杂的油藏需要把以前的模型网格尺寸成倍缩小,网格数也呈数量级增加,这就要求计算机有足够大的内存和足够快的处理速度。而这些正是Linux集群的优势所在。

2006年6月,大庆油田选用60片IBM BIadeCenter JS20:U片服务器搭建的高性能Linux集群应用于油藏数值模拟系统项目。JS20对运行于Linux并基于AltiVec技术优化的高性能计算工作负载来说是十分理想的。该油藏数值模拟系统能够在很小的物理空间内部署强大的计算力,可大大提高汕藏数值模拟结果的生成速度,改善油藏的勘测能力。

2006年10月,国内最先进、全国石油系统性能第一的数值模拟微机集群系统在胜利油田地质科学研究院投产,标志着胜利油田油藏数值模拟中心初步建成,开发计算机手段达到国内领先水平。该集群系统共137个节点,274个英特尔安腾处理器,系统双精度浮点峰值达1.7536x1012次/s,实际峰值达1.33x1012次/s。它使常规水驱模拟模型规模扩大到百万级,实现了整体建模、整体模拟和大规模并行化数值模拟。它使热采及三采模型规模由井组、小区块扩大到全油藏。它提高了动态模型的可靠性和描述精度-实现了整装大油藏多指标拟合的单井化,实现了整装大油藏老区调整历史拟合的精细化。

(三)拓展的Linux集群应用领域

伴随基于Linux集群技术的应用软件的推陈出新,Linux集群在石油勘探开发过程中的盆地模拟、三维可视化解释等领域的应用得到了进一步开拓和丰富。盆地模拟是从盆地沉积、动力、物理化学机理出发,将油气的生成、运移、聚集合为一体,在建立地质模型的基础上建立数学模型,并形成一维至三维的计算机软件,从而在时空概念下计算机定量地模拟沉积盆地的形成和演化过程,主要用于勘探开发初期、油气资源评价和发现新油田等阶段。而Linux集群完全符合盆地模拟所需庞大数据量和计算量的要求。

2005年9月,大庆油田勘探研究院与法国斯伦贝谢公司共同承建的亚太地区首个微机集群三维可视化勘探平台正式在大庆建成投入使用。该平台首次采用8个CPU的Linux微机集群做后台,运行斯伦贝谢公司的GigaViz三维可视化综合解释集群软件,能够快捷地使用多学科资料、提取多种信息、实时交互解释,能够快速发现复杂地质目标和隐蔽的油气藏。主要用于地震处理解释、成果验收评审、井位部署和技术培训。

四、Linux集群的应用结论及发展趋势

根据Linux集群在石油行业的应用情况,综合对比分析实际应用效果,总结出以下应用结论: (1)Pc Cluster在地震数据常规处理和深度域处理中已得到成功应用; (2)高性能Pc Cluster并行机很适合密集型运算,可以为解决复杂区地震成像问题提供有效的计算环境; (3)相同运算能力下,Cluster的投资仅需Unix并行机的1/10左右,而速度却能提高3倍以上: (4)Pc Cluster与应用软件的有效集成是实现地震数据并行处理成功应用的关键: (5)主频的提高、CPU数的增加与驻机时间减少的关系不是线性的。

纵观Linux集群技术的现状及其在各领域的应用情况,Linux集群呈现出5大发展趋势。

1 基于刀片式服务器的集群架构成为主流。刀片式服务器产品在多核、低功耗技术的推动下已完成从最初一味追求高计算密度发展到强调整体综合性能和高生产力。由此预期刀片式服务器将以其高服务密度、敏捷式部署维护、全方位监控管理融合、高可扩展性、高可用性全面取代传统的基于机架式服务器的Linux集群体系架构。

2 集群标准化进程日趋深入完善。标准化是行业应用成熟化的标志。曙光公司把泛高性能计算时代下的集群技术总结出10大标准:(1)远程/异地操作控制技术; (2)一体化监控技术; (3)智能机柜技术:(4)异构平台整合技术: (5)复杂集群简易管理技术; (6)集群安全管理技术; (7)集群负载均衡技术; (8)集群快速部署技术; (9)集群并行吞吐技术: (i0)行业定制优化技术。这些标准为Linux集群技术及应用推广普及打下了非常好的基础。

3 虚拟计算技术在集群应用中向更深层次发展。伴随Microsoft Virtual Server、 VMware Workstation、Xensource Xen、 Intel Vanderpool、AMD Pacifica等部件级及系统级虚拟技术的兴起,预期基于应用级集群虚拟计算技术不仅将带来更高的集群部件利用率,同时也会带来支持应用动态迁移、故障自动隔离、系统自动重构的高可靠集群应用环境,以及更为简洁、统一的Linux集群管理模式。

4 集群可信计算环境构造技术浮出水面。随着基于商业计算及信息化应用对集群架构的普及推动,预期基于内外网隔离、统一身份认汪、访问控制、分布式入侵检测、流量分析、应用层及传输层加密传输协议、主动防护等技术将催生全新的集群应用可信计算环境构造技术框架,从而打造从物理层到应用层全方位的、多层次的、立体的集群应用安全环境。

5 细分专用导向。近年来,曙光公司相继推出了面向不同行业的专用Linux集群产品。预期今后Linux集群的发展将继续以满足行业细分应用为导向、以高生产力为驱动、以行业应用软件整合为契机,将出现更多行业专用的Linux集群。

五、结束语

综上所述,Linux集群已经在石油行业得到了广泛应用,分布于盆地模拟、地震资料处理、全三维可视化解释、油藏数值模拟等石油勘探开发各个阶段。采用Linux构建的高性能集群系统可以在短时间内帮助石油公司完成海量的复杂地震数据处理、解释和油藏模拟应用;提高生产效率和开采成功率,降低发现成本,实现深度计算可视化;适时对设备/油藏数据进行收集、整理及分析以提高操作决策的智能化。此外,对于医药、生命科学、基因解析、天气分析等有密集运算需求的企业和研究机构来说,Linux集群系统也是最佳选择。可以相信,无论是现在还是将来,Linux集群都会在石油及其他行业中发挥更大的作用。

推荐访问: 发展趋势 集群 现状及 石油 行业