2024-11-13 10:19

华为、百度、阿里云、腾讯云、蚂蚁集团等发起“大模型基础设施高质量发展行动计划”

00:00 00:00

中国人工智能产业联盟第十三次全会于 11 月 12 日在北京召开,华为数据存储联合中国信通院、工信部人工智能关键技术和应用评测实验室、工商银行、中国移动、中国联通、百度、阿里云、腾讯云、蚂蚁集团等正式发起“大模型基础设施高质量发展行动计划”。

从大会获悉,该计划以提升大模型基础设施的质量与效能为目标,共同加快布局“高效计算调度 + 高性能 AI 存储 + 高通量网络 + 高效能开发平台 + 智能化运维平台”,助力大模型工程化落地。

华为闪存存储领域总裁黄涛表示,人类利用数据在 AI 领域取得长足发展,数智时代是数据的黄金时代,随着数据规模爆炸式增长、数据价值不断攀升,但同时我们面临 xPU 与存储的带宽不足、算力集群可用度低、推理时延长等挑战,这对存储提出更高要求。黄涛提出,具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的新一代 AI 存储是通往 AI 数智时代的必由之路。

黄涛还称,随着大模型的规模法则(Scaling Law)不断演进,无论是在进行 CKPT 的并行保存与加载、多模态数据的收集与清洗、全局数据的 Shuffle(混洗)与模态对齐,还是 AI 算法的调优以及大规模集群的运维诊断跟踪,都迫切需要一个全局对等共享、单一命名空间、且具备高性能并行读写能力的大型文件系统。这样的系统能够避免多文件系统和多集群之间联邦式的低效堆叠,从而显著简化大规模集群环境下的数据调度和数据管理流程,进而持续提高数据供应的效率。

作者:汪淼   来源:IT之家

相关

华为信通院工信部中国移动中国联通
本评论 更新于:2024-11-15 1:07:35
在C114 APP中与业内人士畅聊通信行业热点话题!