[经验]

Java利用hanlp完成语句相似度分析的案例详解

战成

2019-2-23 10:27:38

2774 JAVA开发

分享一篇hanlp分词工具使用的小案例，即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考！

在做考试系统需求时，后台题库系统提供录入题目的功能。在录入题目的时候，由于题目来源广泛，且参与录入题目的人有多位，因此容易出现录入重复题目的情况。所以需要实现语句相似度分析功能，从而筛选出重复的题目并人工处理之。

下面介绍如何使用Java实现上述想法，完成语句相似度分析：

1、使用HanLP完成分词：

首先，添加HanLP的依赖：（jsoup是为了处理题干中的html标签，去除html标签得到纯文本的题干内容）

分词代码如下，需要处理html标签和标点符号：

private static List getSplitWords(String sentence) {

// 去除掉html标签

sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

// 标点符号会被单独分为一个Term，去除之

return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\[\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？ ".contains(s)).collect(Collectors.toList());

}

2、合并分词结果，列出所有的词：

3、统计词频，得到词频构成的向量：

代码如下，其中allWords是上一步中得到的所有的词，sentWords是第一步中对单个句子的分词结果：

4、计算相似度（两个向量的余弦值）：

以上所有方法的完整代码如下，使用SimilarityUtil.getSimilarity(String s1,String s2)即可得到s1和s2的语句相似度：

package com.yuantu.dubbo.provider.questionRepo.utils;

import com.hankcs.hanlp.HanLP;

import com.hankcs.hanlp.dictionary.CustomDictionary;

import org.jsoup.Jsoup;

import java.util.ArrayList;

import java.util.Calendar;

import java.util.Collections;

import java.util.List;

import java.util.stream.Collectors;

public class SimilarityUtil {

static {

CustomDictionary.add("子类");

CustomDictionary.add("父类");

}

private SimilarityUtil() {

}

/**

* 获得两个句子的相似度

* @param sentence1

* @param sentence2

* @return

public static double getSimilarity(String sentence1, String sentence2) {

List sent1Words = getSplitWords(sentence1);

System.out.println(sent1Words);

List sent2Words = getSplitWords(sentence2);

System.out.println(sent2Words);

List allWords = mergeList(sent1Words, sent2Words);

int[] statistic1 = statistic(allWords, sent1Words);

int[] statistic2 = statistic(allWords, sent2Words);

double dividend = 0;

double divisor1 = 0;

double divisor2 = 0;

for (int i = 0; i < statistic1.length; i++) {

dividend += statistic1 * statistic2;

divisor1 += Math.pow(statistic1, 2);

divisor2 += Math.pow(statistic2, 2);

}

return dividend / (Math.sqrt(divisor1) * Math.sqrt(divisor2));

}

private static int[] statistic(List allWords, List sentWords) {

int[] result = new int[allWords.size()];

for (int i = 0; i < allWords.size(); i++) {

result = Collections.frequency(sentWords, allWords.get(i));

}

return result;

}

private static List mergeList(List list1, List list2) {

List result = new ArrayList<>();

result.addAll(list1);

result.addAll(list2);

return result.stream().distinct().collect(Collectors.toList());

}

private static List getSplitWords(String sentence) {

// 去除掉html标签

sentence = Jsoup.parse(sentence.replace(" ","")).body().text();

// 标点符号会被单独分为一个Term，去除之

}

---------------------

只看该作者 淘帖0 举报

精选推荐

一文搞懂Linux进程的睡眠和唤醒

792 浏览 0 评论
【社区之星】尹向旭：耕耘时间，收获满满 —— 投入即有所得

4507 浏览 0 评论
如何使用python调起UDE STK5.2进行下载自动化下载呢？

2564 浏览 0 评论
开启全新AI时代智能嵌入式系统快速发展——“第六届国产嵌入式操作系统技术与产业发展论坛”圆满结束

2939 浏览 0 评论
获奖公布！2024 RT-Thread全球巡回线下培训火热来袭！报名提问有奖！

31587 浏览 11 评论

搜索历史

Java利用hanlp完成语句相似度分析的案例详解

相关推荐

评论

精选推荐

热门帖

站长推荐 /6