AI大模型的财务能力测评与启示——基于CPA考试的ChatGPT与国产大模型实测OA北大核心CHSSCD

在当前学界业界,尚缺乏关于AI大模型财务能力的规范化评估体系。基于该背景,本文选择CPA考试作为评估体系,针对ChatGPT、智谱清言、讯飞星火三款AI大模型财务能力展开深度测评,希望在数据可验证的范围内,呈现大模型应用于财务场景的优势与不足,并通过深入分析,处一隅而观全局,从整体层面把握AI大模型在财务行业的应用可行性及未来发展趋势。研究结果显示,三款参评大模型在2023年CPA六门真题的单科测试中均未及格,但在侧重于零散化知识理解、记忆、应用以及文本撰写能力的《税法》《经济法》《公司战略与风险管理》科目上展现出相当潜力,在需要复杂链式思维能力、高度计算准确性、文本细节深度理解的《会计》《财务成本管理》《审计》科目上存在明显不足。本文认为,在整体层面,财会行业对未来大模型的应用可持谨慎的乐观态度,并进一步从学习备考辅助、会计职能转型、财务应用场景、教学及科研四个维度,提炼了本次测评对大模型财务应用的具体借鉴及启发,以期为在校学生、CPA考生、会计专业人士、研究学者及软件开发商等提供有益参考。