OpenInfra Q2 meetup收官 浪潮数据全景呈现社区硬核技术贡献

(全球TMT2021年7月6日讯)6月26日,由浪潮数据与开源基础设施基金会联合筹备,以“来自中国的贡献”为主题的OpenInfra Q2 meetup正式拉开帷幕。

会上,来自开源基础设施基金会及木兰开源社区的代表分别就国内开源发展态势和企业技术贡献等内容展开深入分享与探讨。来自浪潮数据、烽火通信、九州云以及英特尔国内的资深技术专家,分享并深入剖析了各家在开源社区贡献新开源项目的未来的开源项目并深入探讨了开源社区未来的发展愿景。

开源不止理想 更多落地实践待关注

“伴随云计算发展对行业的深度赋能,如何围绕创新实践案例以及落地场景来搭建行之有效的开源开放技术,是基金会关注的重要方向之一,因为开源软件不止是理想与风花雪月,更重要的是在商业实践方面扎根落地。”开源基础设施基金会李昊阳总结道。

开源基础设施基金会 李昊阳
开源基础设施基金会 李昊阳

基于此今年8月如约而至的OpenInfra  Days China的主题将会锁定“下一个十年的开源基础设施”,集中面向5G新基建、工业智能化转型、云原生基础设施以及云网融合与开源治理等话题深度延展,“当然,我们依然是将OpenStack、边缘计算、硬件加速网络与存储等技术作为开源社区长期发展的重要目标。”李昊阳进一步补充道。

开放、融合、敏捷、智能:详解OpenStack社区贡献实践与优化

浪潮数据研发部总经理亓开元在活动致辞中表示,一直以来浪潮秉承“开放、融合、敏捷、智能”的理念,主要围绕高效能、高并发、高可用、资源融合、多云融合、云数智融合以及智能运维与智能服务等方面持续进行优化创新,为各行各业提供数字转型、智能升级、融合创新基础设施。

浪潮数据研发部总经理亓开元
浪潮数据研发部总经理亓开元

“尤其在标准化的基准测试工作方面,以大规模的测试验证与SpecCloud基准测试为代表,云海研发团队从中不断技术完善并自我创新。通过500节点以及1000节点两次大规模测试认证,不但检验了云海OS在大规模场景下的敏捷交付、极致扩展性、性能优化以及智能运维等能力,更为业界在大规模落地实践中提供了参考设计的规范和高可用、高效率、高可靠的规格。”亓开元说。

在技术创新、产品研发以及社区贡献方面,浪潮数据始终努力推进OpenStack产业化进程,连续近几个版本社区贡献国内第一并将对标Horizon的全新OpenStack Dashboard项目贡献木兰社区进行孵化,为更多使用OpenStack项目的企业提供帮助。

在活动中,以浪潮数据云计算架构师张百林为代表的浪潮云海OS技术研发团队还深入分享了OpenStack社区贡献实践与优化。

详解了如何贡献社区,如何参与社区峰会等基本情况,还着重结合浪潮云海1000节点大规模云数智融合实践,全面介绍了在高可用、计算存储功能方面的优化实践,内容涵盖计算、存储、网络等方面,重点对批量创建虚机等待网卡超时和消息队列DHCP Agent消息积压等致使虚拟机创建失败、Qcow2格式镜像启动虚拟机慢、大规模主机故障疏散错乱等主要疑难问题进行了深入的阐释,对比分析OpenStack社区原生计算、存储、高可用等功能的优化及价值体现,并提出未来基于OpenStack技术创新达成的规划目标。

浪潮数据云海OS技术研发团队
浪潮数据云海OS技术研发团队

浪潮数据云计算高级研发工程师宋文平:基于异步IO和多队列的磁盘性能优化,有效提升了vGPU性能并降低GPU损耗,优化资源同步机制,性能提升高达30%。

浪潮数据云计算高级研发工程师苏正伟:针对大规模主机故障这个比较难解决的问题,我们通过引入设计了自适应的恢复控制规则,通过排队、熔断、限流、降级重试等方式,做到发生故障时优先保障高价值的云主机优先疏散,通过熔断和限流在云平台不具备故障恢复时来确保云平台的稳定性和高可靠性。

浪潮数据云计算高级研发工程师海鑫:在云存储方向,cinder模块通过自研智能镜像缓存算法,在提高缓存命中率的同时可降低镜像卷创建耗时80%。manila模块新增文件存储类型修改,用户消息查询增强、限制共享实例大小等功能,极大地提高了平台易用性。

源于开源、馈于开源:实力诠释Venus项目核心技术

浪潮数据云计算架构师逄立业为与会技术研发人员详尽介绍了Venus项目的关键架构与核心技术。

浪潮数据云计算架构师逄立业
浪潮数据云计算架构师逄立业

Venus作为浪潮贡献OpenStack社区的日志管理项目,可以一站式满足OpenStack日志的采集、清洗、索引、分析、告警、可视化、生成报告等需求,帮助运维人员快速检索问题,掌握平台的运行健康度。

简单来说在检索工作上,主要提供了简单易用的检索方式,可以做到检索一切日志数据,定位日志上下文;分析上主要实现日志关联、字段数值统计,提供多场景、多维度的可视化分析报表;告警层面则将搜索转化为主动告警,实现海量日志中错误的“大海捞针”;定位主要是通过建立知识图谱和调用的链式关系,结合算法实现故障的快速定位。

以日志预处理为例。对于日志数据,OpenStack社区从开始开发就制定了严格的日志规范,大部分模块都遵守此规范,即社区规定的日志格式为<时间戳><日志等级><代码模块><Request ID><日志内容><源代码位置> 。此种日志很容易进行预处理,拆分成多种维度进行索引。

如今开源到OpenStack社区的Venus项目现已具备基本的日志分析处理功能,总结一下主要为:

全文/多维度检索:针对全文或已索引维度进行关键词检索(可模糊匹配)

多维度统计/展示:对已索引的一个或多个维度的日志条数进行统计并展示

典型错误分析:集成典型的错误分析,例如MariaDB连接错误等

错误日志告警:当周期内错误日志条数超过阈值,进行告警并通知

调用链分析:对系统中的调用,根据global_requestid进行流程分析

API执行状态/耗时:对记录API调用状态的模块,可以统计API执行的状态和时间消耗

整体而言,Venus通过集合广大用户在日志领域的需求和实践,提供各场景日志分析并集成算法和知识图谱实现故障的快速定位,构建完备的日志运维场景,并在未来计划引用机器学习算法,快速定位IT故障及根因,提高运维效率以及平台管理的水平。

活动中,英特尔亚太研发有限公司数据平台事业部解决方案架构师高仲、九州云研发工程师高瀚翔以及烽火通信的架构师李煜琦,还分别就OpenCloud根植于开源生态的实践与创新、Skyline开发核心的理念以及易扩展、易定制、易衍生、易融合的多云管理架构等内容展开了深入解析。