12月18日下午消息,今日举办的火山引擎Force大会上,字节跳动基础框架负责人赵鹏伟表示,“更极致性价比、更深度创新、更可靠安全是AI行业的发展趋势。”
云原生是过去十年最重要的计算范式,大模型时代则推动着云计算的变革。
火山引擎认为,下一个十年,计算范式应该从云原生进入到AI云原生的新时代。基于AI云原生的理念,火山引擎推出了新一代计算、网络、存储和和安全产品。在计算层面,火山引擎GPU实例,通过vRDMA网络,支持大规模并行计算和P/D分离推理架构,显著提升训练和推理效率,降低成本;存储上,新推出的EIC弹性极速缓存,能够实现GPU直连,使大模型推理时延降低至1/50、成本降低20%;在安全层面,火山将推出PCC私密云服务,构建大模型的可信应用体系。基于PCC,企业能够实现用户数据在云上推理的端到端加密,而且性能很好,推理时延比明文模式的差异在5%以内。