2021-9-23 09:30

中兴王德政:大数据架构演进,融合是主旋律

9月17日,由国家工业和信息产业部、湖南省人民政府联合主办的2021世界计算大会在长沙举行。

中兴通讯中心研究院总工王德政在会上发表了题为“生态融合趋势下的大数据架构演进”的主题演讲,分享了中兴通讯对大数据生态发展的思考与探索。

中兴通讯中心研究院总工王德政发表主题演讲

他表示,要实现“以分布云为基础,覆盖全场景部署”的生态融合的大数据架构,需要面对基础设施融合、数据管理融合、计算框架融合这三方面的挑战。

在王德政看来,大数据与云基础设施的融合过程,是大数据逐步放弃存储计算一体化模式的过程。在此过程中,存算分离带来的计算资源调度和性能下降问题是主要挑战。而根据不同的应用场景,采用从基础设施到应用的多种技术进行协同处理,是解决这一问题的重要途径。

在数据管理方面,从大数据的视角看,数据仓库和数据湖均越来越重视数据价值的实时性,两种模式的融合是必然趋势。湖仓融合将提供批流融合的计算和存储,统一元数据服务向上提供无缝的数据开发和管理体验。同时,从数据库角度看,OLTP与OLAP向HTAP的融合是另一条技术路线。

王德政认为,大数据系统向生产系统延伸,使得原本只能批处理的数据具备了流处理的基础。当前批流分设的架构,不仅会造成数据孤岛与重复,还造成批流任务无法统一管理等系统性问题。批流一体的计算框架能够改善批流分离造成的数据孤岛,统一任务管理,并且还具备数据处理实时性高、硬件资源需求均衡等优点。

“未来生态融合的大数据架构,一定具备基础设施融合、数据统一管理、计算模式统一的特征,并能够在任何地点提供任何规模的全场景算力服务。”

来源:C114通信网

相关

融合中兴
本评论 更新于:2021-11-27 15:44:13
在C114 APP中与业内人士畅聊通信行业热点话题!