自然医学论文提纲

论文题目：面向生物医学的文本分类与事件检测研究

摘要：随着人们对健康医疗的重视,生物医学领域一直快速发展,生物医学电子文献作为最重要的资源之一备受关注,数据量又在成指数级增长,从海量信息中挖掘潜在知识信息,并将这些知识充分用于辅助医疗技术研究,对生物医学健康领域有重要意义。现存的数据大多为不规则零散的非结构化数据,如何高效地将大量非结构化数据转换成结构化数据,成为信息知识挖掘领域研究的重点内容。本文旨在利用文本分类技术和事件检测技术完成对生物医学领域的信息抽取,进而可以辅助医学,实现精准医疗。生物医学文本分类任务主要是从粗粒度角度挖掘生物医学文本信息,是自然语言处理任务的基本任务之一,是文本信息挖掘流程的第一步,能够有效协助医疗工作者从大量文献中快速获取有价值的信息。本文分别研究了英文长文本和中文短文本的分类任务。针对英文长文存在的长距离依赖等问题,提出HACN（hierarchical attention-based capsule network）模型。利用胶囊网络有效获取生物医学文本局部特征,提高了该任务的准确率,利用层级注意力机制准确获取长文本的全局特征,提高了该任务的召回率,将其两者有效结合提高了文本分类系统的整体性能。该模型方法在Bio Creative评测任务的三个相关语料集上进行了实验验证,实验结果均有很大的提升。针对中文短文本存在的信息量较少等问题,本文采用集成学习的方法进行分类。首先通过目标领域的数据集对BERT模型微调得到语义增强模型,再将其与深度学习的模型进行融合,集成得到最终的短文本分类器。该模型方法在第五届中国健康信息处理大会评测任务之临床试验医学标准短文本分类语料集上进行了实验验证,取得了该任务目前最高的F1值。对于生物医学领域的事件检测任务,属于细粒度生物医学文本信息抽取,目的是检测句子中的触发词,并将其分类为预定义的事件类型,这将有利于许多应用,如文本摘要和阅读理解等。针对触发词识别存在的长尾问题,本文提出采用BInd GAC（bidirectional independent GRU-Attention-CRF）模型,并结合BIO标签进行触发词识别,该任务中训练的词向量是融合了生物医学知识的语言模型Bio BERT得到的表示。该方法有效地挖掘了深层的文本信息,提高了触发词识别器的性能。该模型方法在MLEE数据集上进行了相关实验验证,验证了本文提出方法的有效性。

关键词：自然语言处理;生物医学信息抽取;文本分类;事件检测;触发词识别

学科专业：计算机科学与技术

摘要

Abstract

1 绪论

1.1 研究背景与意义

1.2 研究现状

1.2.1 生物医学文本分类研究现状

1.2.2 生物医学事件检测研究现状

1.3 本文研究内容

1.4 本文组织结构

2 相关技术与知识

2.1 语言模型

2.1.1 Word2Vec语言模型

2.1.2 BERT语言模型

2.2 神经网络模型

2.2.1 卷积神经网络

2.2.2 循环神经网络

2.2.3 注意力机制

2.2.4 胶囊神经网络

2.3 实验语料资源和评价指标

2.3.1 语料资源介绍

2.3.2 评价指标

2.4 本章小结

3 基于HACN模型的生物医学文本分类

3.1 引言

3.2 生物医学长文本分类方法

3.2.1 模型总体架构

3.2.2 模型输入层

3.2.3 层级注意力机制层

3.2.4 胶囊网络层

3.2.5 分类与训练

3.3 实验结果与分析

3.3.1 数据集描述

3.3.2 Baseline方法

3.3.3 层级注意力机制有效性检验与分析

3.3.4 胶囊网络有效性检验与分析

3.3.5 PM数据集对比实验结果与分析

3.3.6 ACT和 IAS数据集对比实验结果与分析

3.4 错误案例分析

3.5 Attention可视化系统

3.6 本章小结

4 基于集成学习的生物医学短文本分类

4.1 引言

4.2 医学短文本分类方法

4.2.1 模型框架

4.2.2 预训练语言模型

4.2.3 模型的微调

4.2.4 分类模型

4.2.5 集成学习

4.3 实验结果与分析

4.3.1 数据集描述

4.3.2 实验设置

4.3.3 对比实验与分析

4.3.4 消融实验与分析

4.4 本章小结

5 基于BIndGAC模型的生物医学事件检测

5.1 引言

5.2 生物医学事件触发词识别方法

5.2.1 方案流程

5.2.2 标签规则

5.2.3 BInd GAC模型

5.3 实验结果与分析

5.3.1 数据集描述

5.3.2 参数设置

5.3.3 模型性能对比实验

5.3.4 词向量选择有效性检验实验

5.3.5 注意力机制有效性检验实验

5.3.6 双向独立GRU有效性检验实验

5.3.7 模型泛化性检验实验

5.4 本章小结

结论

参考文献

致谢