摘要:本文介绍了一个基于中文信息抽取模型的股市公告信息抽取系统（SBIES）的设计与实现。介绍了该系统的结构框架和分布图。讨论了汉语信息抽取模型的具体结构，构建了由自动分词、自动标注和模板填充三个阶段组成的简化模型。简单介绍了自动分词的常用算法和自动标注中的标注规范。重点探讨了模板填充的具体算法。文中分别讨论了采用基于规则的结构主义方法和基于语料库概率统计的功能主义方法。着重讨论了采用隐马尔科夫模型进行信息抽取的具体算法。对模型的参数获取算法作了讨论，改进了Baum-Welch算法以适应信息抽取的应用。对领域文本做了人工标注，通过计算机处理获取所需的统计数据。利用统计数据完善HMM模型。
THE DESIGN AND IMPLEMENTATION OF CHINESE STOCK BULLETIN INFORMATION EXTRACTION SYSTEM
Abstract
This article introduced the design and implementation of a Chinese IE Technology based stock bulletin information extraction system (SBIES). The framework and deployment of the system were described. The structure of the Chinese information extraction model was discussed in detail. We proposed a simplified 3 tiers IE model consisting of automatic word segmentation, automatic annotation, and template filling. The algorithms used in automatic word segmentation and annotation were briefly introduced while algorithms used in template filling were focused on. In this article, the rule-based structuralism methods and the corpus-based statistical functionalism methods were discussed respectively. The Hidden Markov Model (HMM) was introduced to extract information and the algorithm was explained at length. The algorithm for model parameter acquisition was also analyzed and the Baum-Welch iteration algorithm was modified. Domain texts were annotated manually to acquire statistical data via computation. With these data, HMM-based IE was implemented.
KEY WORDS:
information extraction, hidden Markov model, natural language
目录
1 概述 1
......
2 信息抽取模块的设计 7
......
3 信息抽取的关键算法 13
......
4 实现与结果分析 20
.......
参考文献 23
致谢 24
参考文献
1. 刘开瑛，《中文文本自动分词技术研究》，山西大学计算机科学系，2001
2. 张冬茉，姚天昉，王纤，《多语种天气预报文本生成系统中句子规划器的设计与实现》，上海交通大学计算机系
3. 刘开瑛，郭炳炎，《自然语言处理》，科学出版社，1991
4. Stephen Soderland et al., Issues in Inductive Learning of Domain-Specific Text Extraction Rules, 1995
5. Kam-Fai Wong, Wenjie Li, Chunfa Yuan, Classifying Temporal Concepts in Chinese for Information Extraction, 1999
6. Mary Elaine Califf, Raymond J. Mooney, Relational Learning of Pattern-Match Rules for Information Extraction, 1999
7. 张冬茉，王纤，《基于WEB的信息抽取模型的研究》，上海交通大学，2001
8. 姚天顺，《自然语言理解》，清华大学出版社，1995
9. 蔡自兴，徐光祐，《人工智能及其应用（第二版）》，清华大学出版社，1996
10. 于江生，《隐Markov模型及其在自然语言处理中的应用》，北京大学计算语言学研究所
11. 于江生，《计算语言学中的概率统计方法》，北京大学计算语言学研究所，1999
12. Joseph F. McCarthy, A Trainable Approach to Coreference Resolution for Information Extraction, University of Massachusetts Amherst, 1996
13. 于江生，《基于约束的句法－语义分析》，北京大学计算语言学研究所
14. 胡睿，《基于INTERNET的信息抽取模型的研究和实现》，上海交通大学计算机系，2001
15. 孙宾，《现代汉语文本的词语切分技术》，北京大学计算语言学研究所（http://icl.pku.edu.cn/bswen/nlp/report1-sementation.html）
16. 孙宾，《Shift-Reduce-Putback Parsing》，北京大学计算语言学研究所，1999（http://icl.pku.edu.cn/bswen/pls/shift-reduce-putback.html）
17. 孙宾，《汉语信息提取的部分研究》，北京大学计算语言学研究所（http://icl.pku.edu.cn/bswen/nlp/bsPhD-chapt4.html）
18. 姚天昉等，《一种基于信息抽取和文本生成的多语种信息检索模型》，上海交通大学计算机科学与工程系，德国人工智能研究中心
