2024-6-12 13:59

基于混合架构的大语言模型智能问答系统研究

本文版权为《邮电设计技术》所有,如需转载请联系《邮电设计技术》编辑部

摘要:探讨了大语言模型在企业政企营销知识智能问答方向的研究与应用。在开发技术上,采用检索增强生成技术,结合大模型微调、意图识别和向量库实现问答 F1 值初步达到 78.21%,构建闭环知识图谱体系,将问答 F1 值提升到92.36%。在工程上,通过vLLM大模型加速机制提升系统性能,采取数据安全技术保障系统安全性,通过 API 及微服务模块化架构提升系统适配性及扩展性,并将系统应用于行业生产中,有助于加速大模型在企业中的应用落地。

关键词:大语言模型;检索增强生成;知识图谱;vLLM

doi:10.12045/j.issn.1007-3043.2024.05.009

引言

随着人工智能(AI)技术的飞速发展,以 ChatGPT 大语言模型为代表的生成式人工智能技术(AIGC)已成为一种新的生产力,在提供客户服务、推动业务流程自动化以及优化用户体验等方面展现出巨大潜力。智能问答是大语言模型技术应用的一个重要场景,生成式大语言模型不仅能回答问题,还能生成连贯、自然的语言回复,这一技术的应用大大增强了用户互动的自然性和流畅性。本研究选择智能问答作为大语言模型应用的落脚点,在企业内部政企产品营销指引场景中探索大语言模型的应用。

然而,尽管大语言模型在智能问答场景中展现了巨大潜力,但在实际应用中仍存在不少挑战和限制,主要包括:

a)模型的幻觉问题(Hallucination)。大语言模型有时会生成看似合理但实际上不准确或无根据的信息,这种现象被称为“幻觉”。在模型生成答案的过程中,这种幻觉现象尤为显著,可能会对用户产生误导。

b)模型的精确度问题。大语言模型虽然能够提供流畅的语言输出,但在处理特定和复杂问题时可能表现出精确性的不足。这可能是因为模型对特定领域知识的理解有限,或者训练数据中缺少足够的相关信息。

c)模型数据偏见的问题。训练大语言模型所用的数据往往来自互联网,这导致模型可能无意中学习并复制了数据中存在的偏见。这种偏见可能表现为性别、种族或文化上的歧视,导致模型的输出具有偏颇。

针对以上问题,业界通常采用大模型辅以检索增强生成(Retrieval-Augmented Generation,RAG)外挂向量 库 来 进 行 专 业 领 域 知 识 的 召 回 。 以 阿 里 千 问QWen-14B 模型为例,该模型在通用领域上具有较好的效能,但在处理政企产品营销领域的 530 篇语料数据集时,仅使用 RAG 外挂向量库进行知识召回,其问答精准度F1值仅为78.21%,无法满足行业B端用户需求。这是因为向量库的检索召回使用的是向量空间内积算法,该算法只能检索出相似度较高的内容,然后再由大模型进行总结回复,其精准度并不理想。

因此,本研究从技术和工程 2 个层面提出创新方案,以实现智能问答系统的高准确率和高效率。在技术层面,首先定义了智能问答系统的评估算法,用来准确衡量系统的有效精准度。针对通用 RAG 技术难以满足行业应用中对高精确性的要求这一问题,在系统设计上进行了一系列优化。通过引入知识图谱、大模型微调等措施,使系统在政企产品营销领域的数据集上的问答 F1 值从 78.21% 提升至 92.36%,相比优化前提升了 14.15 个百分点。在工程层面,使用了大模型加速器,使平均首字符响应时间缩短了 20%,生成速度提升了 12%。同时,还采用了数据安全保障及微服务模块化架构,以提升系统适配性及扩展性。

点击查看全文(PDF)>

作者:陶晓英   来源:邮电设计技术

相关

互联网
本评论 更新于:2024-11-22 10:02:20
在C114 APP中与业内人士畅聊通信行业热点话题!