2024-9-13 17:04

哈尔滨智算集群现场,有这样一名特殊的“数智员工”

8月30日,中国移动智算中心(哈尔滨)正式建成并投产使用,作为国内运营商最大的单集群智算中心,无论从前期的规划设计、技术体系制定还是现场的规模数量、设备多样性、建设验收都是一项巨大的、复杂的系统工程。在工程最繁忙的时候,现场有来自中国移动内部相关单位以及设备商、集成商等外部合作伙伴近200名技术人员。而在其中,一名来自中国移动研究院的特殊的“数智员工”——“AUTO行云”自动化集成验收工具,以其兢兢业业的工作态度和高效可靠的工作能力,为这一里程碑式的智算万卡集群顺利上线提供了有力保障。

万卡集群的高效交付为什么需要“数智员工”

近年来,以大模型为代表的人工智能技术取得了飞速发展,这一对未来影响深远的技术变革,使得作为人工智能发展基础的大规模智算中心的建设,也日渐成为各大企业乃至大国之间竞争的新焦点。在这一过程中,不仅算力规模日益庞大,从千卡向万卡乃至未来十万卡的量级快速扩张,算力基础设施的快速供应也也成为关键。据消息称,马斯克最近投产的10万卡超算集群,从硬件安装到投入训练,总共只花了19天时间。

与此同时,在大规模基础设施特别是万卡新型智算中心建设过程中,数千台设备、数万条网络连线、数十万项各类设备规格等等,会不可避免的发生设备硬件故障及驱动程序错误、网络连线及光模块问题,以及人工设备参数配置错误等。必须要对硬件进行全面、准确的验收检查,发现、定位和帮助整改各类问题,以高质量的算力基础设施确保后续大模型训练的正常运行。

可以想见,对于如此大的工作量,如果采用人工,即使可以通过投入大量资源完成测试,项目工期也是完全不可接受的。为应对这一挑战,中国移动研究院自研的“AUTO行云”自动化集成验收工具应运而生。几年来,该工具已经在网络云、IT云和智算中心等320多个资源池建设中累计应用超过30万台服务器,将超过95%的人工操作转为自动化,使配置验收环节效率提升10倍以上,整体工期缩短2/3以上。

为了便于现场使用自动化工具开展集成验收,AUTO团队打造了可远程访问的AUTOBox软硬一体机设备,每当有类似哈尔滨智算集群这样的大规模算网基础设施建设项目,一台AUTOBox就会作为一名“数智员工”出差到现场,成为辅助项目集成和验收的技术中坚力量。

  AUTO“数智员工”(位于哈尔滨万卡集群)

“数智员工”在哈尔滨万卡集群中的表现可圈可点

在哈尔滨万卡集群现场,研究院这名被大家亲切称之为“小5”(编号为AUTO-5)的“员工”,在历时近2个月的集成验收测试期间表现可谓可圈可点,获得大家的一致认可。

勇于担当,直面困难不退缩。哈尔滨万卡集群的各类服务器、交换机等设备数量超过6000台,连线数量近7万条,这一规模比AUTO以往验收过的最大规模资源池还要大3倍以上。虽然AUTO团队特意选派了“身体素质好、战斗力强”(设备配置高、性能强)的“小5”前往哈尔滨,但在开始工作之处还是遭遇了严重的性能挑战。

例如,其它集群中,一般1小时就可以完成的一轮全量验收测试,在万卡智算集群中需要耗费7至8小时。由于庞大的数据量对数据库造成的压力,可视化测试验收界面在加载数据时频繁出现响应缓慢,使得一线工程师难以实时监控和了解测试的具体进展。为此,AUTO团队迅速在调度策略、数据库写入次数、SQL执行解耦、界面加载优化等多维度制定优化措施,保障“小5”的运行性能。经过不断努力,将单轮全量测试时间压缩到2小时以内完成、错误用例的重测间隔时间更是控制到半小时以内,页面响应速度也大幅提升。

勤勉尽责,默默严守质量关。从7月初进驻现场开始,“小5”就默默地待在机房的一个角落,保持着7×24小时的高强度、不间断自动运转。哈尔滨智算集群的验收用例总计超过25万个,“小5”一轮接着一轮运行,第一时间通过页面、邮件等方式汇报测试结果和发现的问题。

“小5”同时也是连接智算集群、一线工程师和AUTO团队的媒介。一方面,AUTO团队和一线工程师均可通过“小5”获取测试结果的整体情况和详细报告,并安排“小5”对部分测试用例进行临时复测,或者通过更新代码、数据来升级“小5”的能力。另一方面,“小5”还自带最新的基于大模型的“智能助手”,协助现网工程师实现快速问题分析并指导整改。

  AUTO运行界面(位于哈尔滨万卡集群)

持续进步,高效掌握新技能。在AUTO平台以往的使用模式中,为保障测试过程和结果的准确和可靠,通常需要人工预先准备详尽的期望值数据作为验收的依据,期望值的内容如有错漏将直接影响自动化验收的结果。在本次哈尔滨万卡集群中,面对6千余台设备规模、约40种配置模型、每种模型包含30余个参数项的复杂场景特征,如何在尽量减少人员投入、避免反复沟通的情况下,快速准确准备数据成为关键问题。

为解决这一难题,AUTO团队为“小5”增加了“自学习”的能力。通过我们称之为AUTOZero的无监督自学习的数据管理算法,通过现场采集设备信息,采用智能算法来预测各类设备的组件规格、配置参数等期望结果,实际使用中预测准确率达到95%以上,可减少80%的数据准备及校验工作量,显著缩短了验收的准备时间。

即时响应,周到服务暖人心。在现场驻守的“小5”背后,是AUTO平台软件开发和实施支撑团队的近10名经验丰富的研究院同事。“保姆式服务”,是黑龙江省公司负责万卡集群验收的网络部同事们,对AUTO团队现网支撑的敏捷响应和实干精神有感而发的一个“词”。AUTO团队为保障万卡资源池的顺利进行,多次与省公司和一线工程师沟通,根据现场需求快速响应实现分批测试、定位报错设备位置信息、页面会话保存、LLD更新时间等功能。通过多方的实时沟通,以及快速的测试问题整改响应,哈尔滨万卡集群第一批设备在一周内测试通过率迅速提升至99%,成为智算验收过程中整改速度最快的集群。省公司同事自己测算,整体验收效率提升73%以上,通过节省智算集群的上线时间,也进一步降低了能耗、人工等多项成本。

面向未来,AUTO“数智员工”时刻待命

两个“100”天打造了哈尔滨万卡集群建设交付的圆满佳绩。AUTO在这个过程中也迈上了新台阶,不仅在集群规模上突破了历史记录,更是在流程、性能、功能、服务等各方面都取得了新的里程碑式成果。

哈尔滨1.8万卡的超大规模智算集群成功上线,未来更多、更大的智算集群仍然在路上。在交流中,省公司对AUTO也提出了更多的应用场景和功能需求,如自动化设备参数配置、标签智能化识别、数字孪生场景的网络拓扑实现等等。“小5”和小伙伴们将在前期积累的技术创新和实战经验,以及与项目一线的良好合作的基础上,进一步提升能力,随时准备奔赴新的智算中心建设现场,为公司智算集群建设和国家算力基础设施的高质量发展做出贡献。

来源:C114通信网

相关

测试中国移动运营商网络服务器
本评论 更新于:2024-12-5 22:05:15
在C114 APP中与业内人士畅聊通信行业热点话题!