面向新闻文本的汉藏新词抽取及分析OA北大核心
Extraction and Analysis of Chinese-Tibetan New Words from News Texts
提出一种有效的面向新闻文本的无监督新词抽取方法.该方法通过结合无监督的 TopWORDS算法和分词工具 PKUSEG,辅助启发式词语抽取方法,实现从汉文和藏文新闻文本中抽取年度新词,共抽取到 2022年度汉文新词 606个,藏文新词 664个.该方法能够减少人工筛选工作量,并显著地提高新词抽取的效率.与《中国语言生活状况报告 2023》发布的 2022年度汉文新词相比,该方法抽取的新词在数量和语种方面优势明显.此外,对汉文和藏文新词进行对齐,并从新词的发展和使用状况角度开展案例分析.
This paper proposes an effective unsupervised extraction method for news text.Combined with the unsupervised TopWORDS algorithm and the word segmentation tool PKUSEG,and aided by the heuristic word extraction method,the annual new words are extracted from Chinese and Tibetan news texts.A total of 606 new words in Chinese and 664 new words in Tibetan are extracted for 2022.In terms of efficiency,this method reduces the workload of manual selection and significantly improves the efficiency of new words extraction.In terms of effect,compared with the 2022 Chinese new words published in the"Language Situation in China:2023",the new words extracted by this method have obvious advantages in terms of number and language.In addition,this paper aligns the Chinese and Tibetan new words.A case study is engaged from the perspective of the development and use of new words.
庞仙;陈波;赵小兵
教育部语言文字应用研究所,北京 100010||首都师范大学文学院,北京 100089||中央民族大学国家语言资源监测与研究民族语言中心,北京 100081中央民族大学国家语言资源监测与研究民族语言中心,北京 100081||中央民族大学信息工程学院,北京 100081中央民族大学国家语言资源监测与研究民族语言中心,北京 100081||中央民族大学信息工程学院,北京 100081
新闻文本汉文藏文新词抽取
news textChineseTibetannew words extraction
《北京大学学报（自然科学版）》 2025 (1)
45-52,8
国家社会科学基金重大项目(22&ZD035)资助
评论