一种面向特殊领域隐语的大语言模型检测系统OA北大核心CSTPCD
A Large Language Model Detection System for Domain-specific Jargon
大语言模型从模型本身和推理中检索知识以生成用户所需的答案,因此评价大语言模型的推理能力成为热点.然而,尽管在隐语方面大语言模型表现出较好的推理与理解能力,但在诸如电信诈骗等特殊领域隐语理解能力、推理能力的评价尚未出现.针对此问题,设计并实验了首个针对特殊领域隐语的大语言模型评估系统,同时提出了包含许多特殊主题的首个隐语数据集.针对数据交叉匹配问题和数据计算问题,分别提出了协同调和算法和基于指示函数的数据感知算法,从多角度评价大语言模型的表现.实验…查看全部>>
Large language model(LLM)retrieve knowledge from their own structures and reasoning processes to generate responses to user queries,thus many researchers begin to evaluate the reasoning capabilities of large language models.However,while these models have demonstrated strong reasoning and comprehension skills in generic language tasks,there remains a need to evaluate their proficiency in addressing specific domain-related problems,such as those found in tele…查看全部>>
姬旭;张健毅;赵张驰;周子寅;李毅龙;孙泽正
北京电子科技学院网络空间安全系 北京 100070北京电子科技学院网络空间安全系 北京 100070北京电子科技学院网络空间安全系 北京 100070北京电子科技学院网络空间安全系 北京 100070北京电子科技学院网络空间安全系 北京 100070北京电子科技学院网络空间安全系 北京 100070
计算机与自动化
大语言模型特殊领域隐语隐语检测评估系统黑话推理
large language modelDomain-Specific Jargoncant language detectionevaluation systemslangreasoning
《信息安全研究》 2024 (9)
795-803,9
国家重点研发计划项目(2018YFB1004100)
评论