基于Shapley加性解释的ChatGPT生成文本检测模型研究OA北大核心CSTPCD

针对如何快速识别文本内容是否为ChatGPT所生成的问题,提出一种基于BERT-BiGRU的AI生成文本检测模型。该模型使用预训练的BERT(Bidirectional Encoder Representations from Transformers)抽取文本的语义特征,并使用BiGRU(Bidirectional Gated Recurrent Unit)进行特征综合提炼;将BERT-BiGRU分类模型在AI生成检测数据集HC3(Human ChatGPT Comparison Corpus)上的分类性能进行相关模型评估;引入Shapley加性解释工具(SHAP)从全局和局部两个维度对不同模型所识别出的关键特征和基准值进行比较分析。实验结果表明,虽然深度学习和预训练BERT分类模型均取得了较好的分类性能,但在未学习过语种数据集上性能下降严重,然而BERT-BiGRU模型表现优秀;不同模型使用可解释工具在同一数据集上计算得到的关键词差异较大,且关键词多为数字、生僻字和标点符号,模型并未真正理解人类撰写文本与AI生成文本的内在特征区别,基于已有封闭数据集训练得到的模型无法真正应对开放式的实际应用场景。