天津移动“AI荷尔蒙” ，打造基于计算机视觉技术的智慧零售系统

团队介绍

天津移动“AI荷尔蒙”团队，专注人工智能产品研究，研发的三项成果已入选中国人工智能产业联盟的2018年人工智能应用案例TOP100，累计获得国家专利7项。

团队产品经理赵东明：

人工智能专业博士，长期钻研人工智能技术研发，有高级工程师职称和中国移动集团专家认证；

团队数据科学家田雷：

北大数学系硕士学历，精于数据库开发、智能算法、逻辑设计。负责产品系统架构、系统软件开发。

一．前言

“AI荷尔蒙”

是天津移动IT和支撑中心开发的一款基于人脸识别技术的视觉智慧零售系统，包括WEB版和移动终端版，其中WEB版面向厅店运营，移动版面向流动式营销。

通过引入机器视觉、智慧推荐等人工智能技术，“AI荷尔蒙”以人脸识别快速获取客户身份、年龄、性别、行为轨迹，通过灵活的流动式营销场地部署，实现流动式营销场景中客户的驻留信息收集，以深度分析最终实现精准营销推荐，确保商家的智慧运营拓展到厅店外的广阔空间，也帮助客户更加快捷地完成商品了解、选购商品、交易、结算的购物流程。

二、产品介绍

目前市场上的新零售系统都是基于会员或APP用户的固定应用场景，利用互联网产品优势采集到客户人脸图像来实现客户识别，但无法识别非会员客户，无法适用户外或随机场景。“AI荷尔蒙”利用电信运营商大数据优势和人脸识别模型优势，有效解决以上局限性，实现了非会员客户全场景的智慧营销。

AI荷尔蒙厅店版系统以摄像头为核心设备进行进厅客户识别和推荐，但是受到场地、电力、显示等限制，存在部署的局限性。零售场景中常用的社区推广，小区推销，校园营销等户外场景，也需要有相应的系统形态去获取客户身份，主动推荐。因此，AI荷尔蒙团队打造了移动终端版系统。基于安卓手机或Pad，由设备自带的屏幕进行信息显示，由内置摄像头进行全景视频采集，完成主体的人脸识别和智能商品推荐功能。

Web版系统图示

移动终端版

三、核心优势

将固定场景推广到流动场景，突破了固定位置限制和硬件约束，只需要手机安装软件就可以实现智慧营销能力

将会员或产品客户范围推广到全部客户，把智慧零售从体验期带到了实用期。

依赖电信运营商大数据优势，可以获取客户产品推荐信息，为客户量身定做推荐产品，提升营销效率和成功率的同时，确保客户感知体验。

系统的客户体验流程：

四、研发过程

AI荷尔蒙团队2年来一直致力于能从视觉世界中学习的AI算法研究，通过打造一款产品，让计算机能够辨别不同的人，理解行为的关联，推断人的情绪、动作和意图，迅速判断出画面中人物、行为、喜好，进而推荐最适合的商品。

实现这一目标的第一步，就是让计算机快速而精准的识别人脸。过移动的人脸图像库来训练个性化模型，客户无感式完成人脸检测-特征点估计-特征比对的全过程，结合识别的身份进行个性化推荐。

工作难点体现在数据、模型、技术方法三个方面：

首先， AI荷尔蒙的训练集，必须比之前使用过的任何一种数据库都要庞大。因此，下载了900万天津移动用户的人脸图片，并去除水印，过滤劣质图片，生成多角度人脸。天津公司近百人的团队，辅助计算机完成了千万级的图片处理工作，最终得到让计算机精准识别人脸的千万级高质量图像数据库。

之后，在研究院九天深度学习平台的GPU集群支持下，通过卷积神经网络框架进行了100轮次2000小时的训练，模型优化再优化，参数精调再精调，最终得到个性化模型。

最后，为了客户的无感式体验，引入先进的目标检测框架YOLO，来提升人脸检测精度，确保广角视频中人脸不漏检。通过网络MR信令数据，圈定小范围的用户集，将检索范围由1:900万降到1:500，显著提升检索速度。在原有WEB版系统基础上，针对社区直销、校园营销的需求，开发了移动终端版，基于安卓手机或pad，在流动式营销中实现人脸识别和商品推荐功能。

系统的大数据运营界面

五、应用场景

在新零售背景下， AI荷尔蒙移动终端版在流动式营销场景中，有极大应用潜力，具体包括：

1. 社区销售场景

越来越多的渠道营销需要在传统业务专区外开辟了新的直销专区，例如：小区公共区域的营销，商场公共空间的营销，地铁入口营销，户外广场营销等。社区营销最大的问题，就是客户匆匆而过，或者咨询后犹豫离开，无法有效留下客户信息，不能后续深入营销，重点客户流量，客户精确位置无法获取，对精细化运营也不利。

因此，本系统是以安卓手机、Pad为载体，帮助流动式营销中无感式完成客户身份鉴别，留存客户人脸、身份、位置，为后续精准营销积累重要的精细化数据。在此场景下，社区内摊位后可布放以手机摄像头为载体的系统，全程拍摄营销过程并截取人脸，传送到后台服务器进行识别，并联合大数据微营销，计算最适应的营销方案后续发送。

2. 体验式新零售场景

目前，各大手机品牌均倾向于开设线下的终端体验区，尤其是新手机发布时，会结合时下热点事件进行流动式营销，例如世界杯期间，各大商家结合世界杯主题开设手机、啤酒、饮料品牌的公共空间布展营销，例如：在大悦城一层广场进行华为手机、三星手机、百威啤酒的销售展览。

在类似场景中，AI荷尔蒙移动终端版可以发挥成本低、携带方便、体验良好的特性，以PAD+支架方式，在零售区内设置智慧视觉体验区：

一方面将客户识别结果展示在界面，给客户全新体验；

另一方面可以获取客户身份，结合售卖的商品进行实时营销。

本产品目前已立足天津移动营销进行了产品使用推广，已应用于天津移动“万场直销”活动，支撑营销人员到小区等场景进行现场营销，有效提升了营销效率，并支撑在营销活动后自动生成营销记录和快速营销总结，目前正在18年校园营销中应用。经过验证可以有效提升现场营销效率12%，节省客户记录时间20%，提升产品推荐成功率8%。

六、近期产出的成果

进入2018年中国移动自主开发大赛半决赛10强

入选人工智能产业发展联盟TOP100优秀应用案例

天津市科技成果转化中心科技成果鉴定为“国内领先”项目

集团公司人工智能试点二期项目

集团公司研发计划项目

中国移动研发云支撑项目，中国移动研究院“九天”深度学习平台重点支撑项目

获推荐参加2018年天津市科学技术奖项目，获推荐参加2018年中国移动业务服务创新奖项目

完成天津移动核心能力回收项目结题

中国移动自主开发大赛半决赛现场

七、应用效果

人脸识别系统已应用到天津移动2个自办营业厅（新兴路、民航大学）的到厅客户身份识别、现场服务、业务推荐工作中，并直接参与了天津移动万场地推和校园营销活动，深入一线，以人工智能技术提升移动用户的客户感知。经过统计，客户的业务受理时间减少40%，销售效率提升25%，单位业务效益提升28%，客户满意度提升到99.5%，营业厅整体运营效率提升30%以上，社会效益显著，客户评价良好。

系统还在持续迭代中，目前已经通过AI技术教会计算机通过人脸去观察顾客，鉴别顾客，推荐预设的方案，下一步，会在人体行为分析领域继续探索，让计算机读懂人的形态，不同动作的内在关联，真正理解客户，感受客户，希望大家继续关注AI荷尔蒙，让AI给生活多点荷尔蒙。