基于深度学习的中学数学知识命名实体识别

哪些信息传递给输出门(参考LSTM)，因此其计算效率要比 LSTM 高。GRU 是 RNN 的改进版本。Wang 等[77]提出一种基于门控循环单元和条件随机场的深度学习网络模型来抽取在线评论文本中的实体属性，该方法利用 GRU 获取上下文语义信息，并用 CRF 计算输出标签的前后关系。经实验验证其比基于规则或一般机器学习的文本抽取方法更具优势。由 Cho 等人提出 GRU 旨在解决标准循环神经网络附带的梯度消失和梯度爆炸问题，并同时能够保留序列的长期信息。GRU 也可以视为 LSTM 的变体，因为两者的设计相似，并且在某些情况下，产生的效果也同样出色[82]。而在一些自然语言处理上游任务中，这些模型不能很好的解决例如机器阅读理解和机器做题等在规定时间内要求最大精确度的问题，因此针对此问题，本研究提出更为实用的基于 BERT-GIGRU-CRF 的命名实体识别模型。首先利用 BERT 模型各层中的上下文来进行深度双向预训练，提炼出词向量，然后将词向量作为 BIGRU 网络的输入向量进行训练，并使用 BIGRU获取文本中较长距离的上下文特征，最后通过 CRF 模型解码得到序列标注的最优解。

图 3-2 BILSTM 结构

.........................

结论

命名实体识别作为自然语言处理的一项重要下游任务，在文本实体识别中起着重要作用。命名实体识别旨在从文本中识别出如人、位置、组织等实体。命名实体识别不仅是信息抽取的重要工具，而且在各种自然语言处理应用中发挥着重要作用，如文本理解、信息检索、自动文本摘要、机器问答、机器翻译和知识库构建等上游任务。作为底层任务，中学数学知识命名实体识别的精确度将直接影响到后续的机器理解、机器做题效率。

针对中学数学知识命名实体中存在的语义交叉嵌套、逻辑关系复杂以及短时间内的高识别精度要求等问题，本文主要进行的工作以及结论如下：

(1)提出基于 BERT-BILSTM-CRF 的中学数学知识命名实体识别模型。该模型结合了 BERT 预训练词向量嵌入模型和 BILSTM-CRF 模型的优点，提高了对中学数学知识命名实体识别的精确度。利用各种中学数学知识相关文献资料标定实体及关系的数据集合对该模型进行实验验证，再与其单一模型的实验结果进行对比，F1 值比 CRF 高出 26.25 个百分点，比 BILSTM 高出 16.1 个百分点，比混合模型 BILSTM-CRF 的 F1 值高出 7.56 个百分点，比 BERT-CRF 的 F1 值高出0.91 个百分点。

(2) 为弥补 BERT-BILSTM-CRF 在训练速率上的局限性，提出一种基于BERT-BIGRU-CRF 的中学数学知识命名实体识别模型，本模型首先通过 BERT预训练语言模型获得词向量，使用 BIGRU 网络获取文本中较长距离的上下文特征，最后通过 CRF 模型解码得到最优标注序列。此模型虽在长时间训练任务中精确度略低于 BERT-BILSTM-CRF 模型，却能在限定较短时间内获得比 BERT-BILSTM-CRF 模型更好的精确度，在学习速率为 0.001-0.01 区间内，BERT-BIGRU-CRF 的 F1 值均大于等于 BERT-BILSTM-CRF。

参考文献（略）