本文版权为《邮电设计技术》所有，如需转载请联系《邮电设计技术》编辑部
摘要：探讨了大语言模型在企业政企营销知识智能问答方向的研究与应用。在开发技术上，采用检索增强生成技术，结合大模型微调、意图识别和向量库实现问答 F1 值初步达到 78.21%，构建闭环知识图谱体系，将问答 F1 值提升到92.36%。在工程上，通过vLLM大模型加速机制提升系统性能，采取数据安全技术保障系统安全性，通过 API 及微服务模块化架构提升系统适配性及扩展性，并将系统应用于行业生产中，有助于加速大模型在企业中的应用落地。
关键词：大语言模型；检索增强生成；知识图谱；vLLM
doi：10.12045/j.issn.1007-3043.2024.05.009
引言
随着人工智能（AI）技术的飞速发展，以 ChatGPT 大语言模型为代表的生成式人工智能技术（AIGC）已成为一种新的生产力，在提供客户服务、推动业务流程自动化以及优化用户体验等方面展现出巨大潜力。智能问答是大语言模型技术应用的一个重要场景，生成式大语言模型不仅能回答问题，还能生成连贯、自然的语言回复，这一技术的应用大大增强了用户互动的自然性和流畅性。本研究选择智能问答作为大语言模型应用的落脚点，在企业内部政企产品营销指引场景中探索大语言模型的应用。
然而，尽管大语言模型在智能问答场景中展现了巨大潜力，但在实际应用中仍存在不少挑战和限制，主要包括：
a）模型的幻觉问题（Hallucination）。大语言模型有时会生成看似合理但实际上不准确或无根据的信息，这种现象被称为“幻觉”。在模型生成答案的过程中，这种幻觉现象尤为显著，可能会对用户产生误导。
b）模型的精确度问题。大语言模型虽然能够提供流畅的语言输出，但在处理特定和复杂问题时可能表现出精确性的不足。这可能是因为模型对特定领域知识的理解有限，或者训练数据中缺少足够的相关信息。
c）模型数据偏见的问题。训练大语言模型所用的数据往往来自互联网，这导致模型可能无意中学习并复制了数据中存在的偏见。这种偏见可能表现为性别、种族或文化上的歧视，导致模型的输出具有偏颇。
针对以上问题，业界通常采用大模型辅以检索增强生成（Retrieval-Augmented Generation，RAG）外挂向量 库 来 进 行 专 业 领 域 知 识 的 召 回 。 以 阿 里 千 问QWen-14B 模型为例，该模型在通用领域上具有较好的效能，但在处理政企产品营销领域的 530 篇语料数据集时，仅使用 RAG 外挂向量库进行知识召回，其问答精准度F1值仅为78.21%，无法满足行业B端用户需求。这是因为向量库的检索召回使用的是向量空间内积算法，该算法只能检索出相似度较高的内容，然后再由大模型进行总结回复，其精准度并不理想。
因此，本研究从技术和工程 2 个层面提出创新方案，以实现智能问答系统的高准确率和高效率。在技术层面，首先定义了智能问答系统的评估算法，用来准确衡量系统的有效精准度。针对通用 RAG 技术难以满足行业应用中对高精确性的要求这一问题，在系统设计上进行了一系列优化。通过引入知识图谱、大模型微调等措施，使系统在政企产品营销领域的数据集上的问答 F1 值从 78.21% 提升至 92.36%，相比优化前提升了 14.15 个百分点。在工程层面，使用了大模型加速器，使平均首字符响应时间缩短了 20%，生成速度提升了 12%。同时，还采用了数据安全保障及微服务模块化架构，以提升系统适配性及扩展性。
