浪潮信息打造智能化的物理基础设施管理平台

(全球TMT2022年4月27日讯)浪潮信息打造智能化的物理基础设施管理平台(ISPIM)。浪潮信息物理基础设施管理平台ISPIM,通过对数据中心IT设备的7*24h纳管监控,实现在异常检测、故障诊断、故障预测、故障自愈、性能预测等多维度的智能化运维。

  • 异常检测

服务器运维中,最根本的是对于异常的检测,常见的是对状态指标、性能指标和日志数据三大数据的检测。

状态指标:当服务器的状态出现异常时,浪潮信息ISPIM管理软件通过主/被动方式对服务器的异常进行聚合,防止重复告警和误报,同时对同时刻多告警进行根因定位,防止告警风暴,产生告警麻痹。

性能指标:在性能指标检测方面,传统手段是设置阈值,但常常因为某一时刻产生噪点数据而发生误报,通过重复次数,阈值抖动范围和自学习数据密度分布等方案,便能够解决噪点数据产生的99%的告警误报;但面对周期性变化的数据却无法进行动态调整,也会产生误报的情况,大大降低告警的准确性。浪潮信息ISPIM管理软件通过AI优化,针对性能数据进行时域、频域、能量等变化进行动态分析,采用LSTM和随机森林两种方案进行预测,告警准确性达到98%。

日志数据:日志一般是半结构化的数据,根据日志级别产生告警,准确性不够并且只能检测到已知和确定模式的异常。浪潮信息ISPIM管理软件拥有4000+运维专家资源库,帮助实现服务器故障快速诊断,同时在日志智能故障诊断方面,会将采集的日志进行重新编码,不断加深对深度学习、LSTM等算法的研究、实践应用,实现从多个维度对服务器异常进行分析,异常检测准确率高达99%。

  • 故障诊断

为进一步提高运维效率,浪潮信息ISPIM管理软件除了对日志的故障诊断之外,还会对系统宕机后的数据进行深入的剖析,便于问题快速定位,提高效率。

通过对采集的海量数据进行分析,浪潮发现服务器的宕机通常是发生了CPU MCE(Machine Check Exception)故障,MCE来源一般来说有两种,一种是CPU本身故障,一种是来自CPU外部的部件。浪潮信息ISPIM管理软件通过带外收集服务器CPU寄存器数据,基于MCA(Machine Check Architecture)技术架构,通过定位CPU触发源、分析MC Bank、解析CSR、MSR寄存器,实现故障原因的确认以及故障部件的精准定位,并根据浪潮信息专家经验库对故障问题给出专业的解决方案,从而提升运维效率。

  • 故障预测

据统计显示,在数据中心中由内存、硬盘造成的故障占比超过50%以上,其主要原因在于硬盘、内存保有量较大,生命周期相对较短,使用率较高等。当内存或硬盘产生故障时,极容易发生严重宕机事故。

对于内存而言,内存产生的CE(可纠正错误),可以通过ECC(Error Correcting Code)机制进行纠正,但是频繁的CE往往会产生UCE(Unchecked Error),一旦产生UCE,往往会导致系统宕机。因此,预测内存故障即可转化为预测UCE,浪潮信息ISPIM管理软件对内存CE,通过多个维度统计分析,从CE总频率、内存固定物理地址CE频率阈值、固定Cell CE频率阈值、CE在Column分布范围及频率阈值等维度统计,获取UCE与CE关联关系,从而预测UCE。

而对于硬盘,在数据中心中大多存储阵列会采用一些冗余机制,但是这只能保证有限硬盘失效的场景,一旦故障盘数量超过RAID冗余的极限之后,很可能造成系统宕机或者数据丢失的风险。浪潮信息ISPIM管理软件通过对SMART(Self-Monitoring Analysis and Reporting Technology)标准进行分析,获取硬盘故障预测的关键数据特征,基于模型算法进行训练,优化模型算法,输出为推理算法模型,通过SMART指标及硬盘运行日志,预测风险盘。同时当硬盘预测达到换盘指标时,可支持换盘操作。

通过这些技术优化,浪潮信息ISPIM管理软件可以实现对内存和硬盘的故障预测,大大提高系统稳定性。

  • 故障自愈

浪潮信息ISPIM管理软件在针对故障自愈方面,可以支持内存故障自动隔离,在操作系统层面,结合MCE(Machine Check Exception)日志数据信息,基于CE故障信息,通过虚拟内存故障Page诊断算法,确定内存故障Page,并在操作系统内核执行Page Offline,通过虚拟内存技术,隔离对故障内存区域的访问,实现内存故障隔离。在物理内存层面,基于CE故障信息,通过物理内存故障诊断算法,利用SPPR(Soft Post Package Repair)、HPPR(Hard Post Package Repair)对物理内存故障Row进行隔离,在技术上实现对故障内存的永久性隔离,提高操作系统的稳定性和可靠性,从而保障业务的稳定可靠运行。

  • 性能预测

性能预测是指对服务器的性能数据,经过ARIMA、指数平滑、LSTM、Prophet等智能算法,能够感知系统在未来几个小时、几天或者一年的数据的走势、增长量或者周期性变化等。浪潮信息ISPIM管理软件凭借自研性能分析核心组件,可支撑上万台服务器同时进行秒级性能数据的监控与告警,帮助运维人员实时掌握设备的性能状况,实现对磁盘寿命、容量预测,准确率达到99%。

浪潮信息物理基础设施管理平台ISPIM(Inspur Physical Infrastructure Manager),具备资源管理、故障监控、性能监控、能耗管理、自动部署、报表统计、网络拓扑和3D视图等功能,可同时对数万台不同品牌服务器、存储、网络设备等设备进行统一监控、运维、告警管理,运维效率提升2倍,基于浪潮信息故障专家库的大数据规则故障诊断功能,可将故障诊断准确率提升到93%,并且可在快速处理故障的同时极大程度降低数据泄露风险,帮助用户打造无人值守数据中心,提高运维效率并降低运维成本,保障数据中心安全、可靠、稳定的运行。