NLP相关任务的基本流程
文本预处理：
- 去除冗余字符标记（正则表达式）
- 分词（jieba）
- 单词处理（英文：大写->小写，单词还原，同义词扩展）
- 去除停用词
- 保护词应用于分词模块：开课吧，后厂理工学院
- 同义词用于分词后的语料扩展：扩展->扩充
- 停止词用于去除干扰信息，提取主要信息：的， 么， 了……
MRC四大任务
完形填空：原文中除去若干关键词，需要模型填入正确的单词或短语。
多项选择：模型需要从给定的若干选项中选出正确答案
答案抽取：回答限定是文章的一个子句，需要模型在文章中标注正确答案的起始和终止位置。
自由回答：不限定模型生成答案的形式，允许模型自由生产数据
各任务相关数据集
-
完形填空：
- CNN&Daily Mail
- CBT
-
单项选择
- MC Test
- RACE
-
答案抽取：
- SQuAD
- NewsQA
-
自由回答：
- MS MARCO
- DuReader2.0（10w可回答问题 +5w无答案问题）数据集在设计无答案的问题，就是看模型是否真的理解了问题，而不是单纯的匹配。
机器阅读理解架构及方法
-
特征+传统机器学习
-
BERT以前：各种神奇的QA架构
-
BERT以后：预训练+微调+trick
总体架构
最重要的模块是：Context-Query Interaction
评测指标
Accuracy：一共m个问题答对了n个
F1
Rouge-L：
最长公共子序列LCS，X为目标，Y为模型，m为标准答案的单词个数，n为模型答案的单词个数。 β \beta β一般取无穷大。所以F=R。
BLEU
示例：
candidate: the cat sat on the mat
reference: the cat is on the mat
就
2154
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
