2021-4-12 14:11

基于云原生服务网格的AI模型部署方案

本文版权为《邮电设计技术》所有,如需转载请联系《邮电设计技术》编辑部

摘要:人工智能模型训练完成后并不适合直接运行在互联网生产环境,需要对其进行一定的封装和部署。探讨基于容器和云原生服务网格对AI模型进行自动封装和部署,以微服务形式对外提供 Restful API,能够提高模型的兼容性和部署灵活性。封装过程采用适用多框架的通用 AI模型代码打包方法,解决 AI模型运行环境配置问题;通过部署在云原生平台由服务网格进行管理,实现AI模型从实验室开发到互联网生产环境高效应用的自动化实时流转。

关键词:人工智能;云原生;模型部署

doi:10.12045/j.issn.1007-3043.2021.03.007

引言

近年来AI技术取得了革命性的进步,算法方面从统计学习方法到深度学习,算法的广度、深度不断扩展,丰富度和复杂度不断提高。同时,也涌现出一批能提供常用开发工具的深度学习框架,如Tensorflow、Pytorch等,广受AI开发者欢迎。AI的应用范围也在不断扩展,从推荐系统到自然语言处理、计算机视觉、语音处理等各个领域都有了成熟的算法和模型。人工智能技术的关注点也从提高算法精度、模型性能扩展到了怎样让其应用到实际的生产环境中。

在人工智能算法模型开发、训练完成后,需要将其部署到互联网云端以便用户实时访问。但目前AI模型的封装和部署还存在较多问题。AI模型开发丰富的框架和工具使在生产中配置模型运行环境非常复杂,尤其是在需要运行多个模型时,更是会面对工具和版本的各种冲突。AI模型运行需要较多的计算资源,在实际运行中如何对AI模型服务占用的资源进行灵活的管理和及时的调度也是亟待解决的问题。AI技术对很多用户来说是一个新的领域,对包含AI服务代码的开发和部署需要很多前置知识,找到一种能灵活支持对各种AI模型进行封装并能实现自动化发布和部署的技术具有十分重要的意义。

点击查看全文(PDF)>

作者:徐治理,霍龙社,曹云飞,崔煜喆   来源:邮电设计技术

相关

互联网网格计算机
本评论 更新于:2024-3-29 23:48:14
在C114 APP中与业内人士畅聊通信行业热点话题!