融合知识推理与相似度检索的民众诉求大模型构建与应用OA北大核心CSTPCD

高效回复民众诉求是实现智能化管理、提升民众满意度的必要措施,将智能问答应用于民众诉求能有效节约人力和时间资源。然而,智能问答中基于规则和检索的模型依赖预设知识,当诉求超出预设知识范围时无法提供有效回复,在处理多轮对话时也无法保持对话连贯性。现有的大语言模型可以和用户流畅对话,但通用大语言模型缺乏诉求领域知识。由于训练数据中问答对的信息没有覆盖回答用户问题所需要的知识,导致通用大语言模型生成错误回复或答非所问,产生幻觉。针对上述问题,构建了面向民众诉求领域的智能问答大语言模型(PC-LLM)。设计基于BERT-BiLSTM-CRF的实体关系抽取模型获得诉求工单中实体及其关系,进而构建诉求知识图谱,使用BERT模型对诉求工单向量化并构建诉求工单向量索引库;回复生成阶段,抽取用户诉求的实体和关系,在诉求知识图谱中通过实体链接进行知识推理,获取潜在关系提示,同时在诉求工单向量索引库内对诉求进行快速检索,获取相似诉求并构建相似诉求提示;将潜在关系提示、相似诉求提示与用户诉求融合形成综合提示,引导大语言模型生成准确的回复。实验分析显示,该大语言模型在诉求数据集中的表现明显优于ChatGPT4o、文心一言、通义千问等大语言模型。