发 帖  
原厂入驻New
申请华秋企业认证 多层板首单免费打样!
30s提交资料,10分钟通过审核(免费赔付+顺丰包邮)>>立即报名
[讨论] 文本信息抽取的分阶段详细介绍
2019-9-16 15:03:58  330 信息提取
分享
文本信息是有具体的单元结构组成,包括句子,段落,篇章。文本信息抽取是指对现有文本数据进行信息抽取的过程,抽取单位也有具体单位组成。比如抽取文本数据中的短语,人名,或者地名。
机器学习的角度分析,将文本信息抽取作为监督学习的一项具体运用。文本信息抽取可以分为两个阶段:学习阶段和抽取阶段。其过程如下图所示:

学习阶段,首先有一些带标注的数据集,每一个样本包含文字单元序列和标注序列组成,机器学子系统基于已有的标注构建一个学习模型,并用一个条件概率分布进行表示。信息抽取系统则是根据得到的条件概率分布模型,对新的样本进行标注。
文字单元在具体的实现中可以是一个文本、一个句子、一个词语,甚至还可以是中文的一个字,标注可能是表示信息抽取对象的开始、结束以及其他。抽取的信息将从开始到标注为结束的文字序列。
文本信息抽取常用的模型有:隐马尔科夫模型、最大熵马尔科夫模型、条件随机场、表决感知机模型。这些模型是上述一般文本信息抽取的具体实现。
NLPIR大数据语义智能分析平台在文本信息提取介绍方面,能够实现新词提取和关键词提取。
新词发现能从文本中挖掘出具有内涵的新词、新概念,用户可以用于专业词典的编撰,还可以进一步编辑标注,导入分词词典可提高分词系统的准确度,并适应新的语言变化。新词提取内容包括:词语、词性、权重和词频统计。本步骤所得到的新词, 可以作为分词标注器的用户词典导入,从而使分词结果更加准确。
关键词提取能够对单篇文章或文章集合,提取出若干个代表文章中心思想的 词汇或短语,可用于精化阅读、语义查询和快速匹配等。关键词提取能够对单篇文章或文章集合,提取出若干个代表文章中心思想的 词汇或短语,可用于精化阅读、语义查询和快速匹配等。关键词分析内容包括: 词语、词性、权重和词频统计。系统默认词汇以权重值高低排序。
同时,NLPIR大数据语义智能分析平台能够实现对于新词、关键词提取结果的高维可视化展示,可视化形式有三种:文 本格式、二维格式与三维格式。用户可根据需要直接使用,无须再次设计美化。


0
2019-9-16 15:03:58   评论 分享淘帖

撰写讨论

你正在撰写讨论

如果你是对讨论或其他讨论精选点评或询问,请使用“评论”功能。

高级模式
您需要登录后才可以回帖 登录 | 注册

发讨论
关闭

站长推荐 上一条 /6 下一条

快速回复 返回顶部 返回列表