[经验]

基于hanlp的es分词插件

战成

2019-7-1 11:34:33

1737 嵌入式

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词

Elasticsearch

默认分词

输出：

IK分词

输出：

hanlp分词

输出：

ik分词没有根据句子的含义来分词，hanlp能根据语义正确的切分出词

安装步骤：

1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp，下载插件并解压到es的plugins目录下，修改analysis-hanlp目录下的hanlp.properties文件，修改root的属性，值为analysis－hanlp下的data

目录的地址

2、修改es config目录下的jvm.options文件，最后一行添加

-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

重启es

GET /_analyze?analyzer=hanlp-index&pretty=true

{

“text”:”张柏芝士蛋糕店”

}

测试是否安装成功

analyzer有hanlp-index（索引模式）和hanlp-smart（智能模式）

自定义词典

修改plugins/analysis-hanlp/data/dictionary/custom下的我的词典.txt文件

格式遵从[单词] [词性A] [A的频次]

修改完后删除同目录下的CustomDictionary.txt.bin文件

重启es服务

只看该作者 淘帖0 举报

精选推荐

AI模型部署边缘设备的奇妙之旅：目标检测模型

583 浏览 0 评论
AI模型部署边缘设备的奇妙之旅：如何在边缘端部署OpenCV

2207 浏览 0 评论
tms320280021 adc采样波形，为什么adc采样频率上来波形就不好了？

1227 浏览 0 评论
基于米尔全志T527开发板的OpenCV进行手势识别方案

1776 浏览 0 评论
AI模型部署边缘设备的奇妙之旅：如何实现手写数字识别

1462 浏览 0 评论

搜索历史

基于hanlp的es分词插件

相关推荐

评论

精选推荐

热门帖

站长推荐 /6