一种面向道路交通法学领域的概念体系自动构建方法

TF-IDF）这些特征，来建模领域概念的流行度和相关性，从而能有效评估候选短语集合。然后，通过候选领域概念评估模块，结合百科知识库，使用远程监督的方式来建模领域概念的信息性。接着，通过POS评估模块，根据候选领域概念在文本中的词性标注序列，建模领域概念的完整性，从而进一步评估候选领域概念集合。与常用的基于无监督的领域概念抽取模型相比，本文的模型结合领域概念对应文本的词性标注信息，能够有效建模领域概念的语义单元。与常用的基于有监督的领域概念抽取模型相比，本文的模型不需要人工标注的数据集。

(2)提出了一种基于预训练语言模型的领域概念关系检测方法。首先，根据输入概念对找到其对应的文本序列。接着使用先进的预训练语言模型来编码输入序列。然后使用概念提及在文本序列中的位置信息构建的掩码序列，来过滤预训练语言模型的输出序列。之后使用注意力机制以及池化操作，得到概念对应的上下文嵌入。最后，本文使用双仿射操作来对概念对打分，并使用LogSumExp函数聚合原始得分来预测输入的关系类别。与常用的基于深度学习的关系检测模型相比，本文使用预训练语言模型来编码输入序列，该方法没有直接对词嵌入表示进行操作，从而能有效防止词汇记忆的问题，此外，本文还结合张量模型，使用双仿射操作，从而能进行多关系检测任务。

参考文献（略）