? ? ? ? HanLP是由一系列模型與算法組成的Java工具包，目標(biāo)是促進(jìn)自然語(yǔ)言處理在生產(chǎn)環(huán)境中的應(yīng)用。HanLP具備功能完善、性能高效、架構(gòu)清晰、語(yǔ)料時(shí)新、可自定義的特點(diǎn)。

? ? ? ? HanLP能提供以下功能：關(guān)鍵詞提取、短語(yǔ)提取、繁體轉(zhuǎn)簡(jiǎn)體、簡(jiǎn)體轉(zhuǎn)繁體、分詞、詞性標(biāo)注、拼音轉(zhuǎn)換、自動(dòng)摘要、命名實(shí)體識(shí)別（地名、機(jī)構(gòu)名等）、文本推薦等功能，詳細(xì)請(qǐng)參見以下鏈接：http://www.hankcs.com/nlp/hanlp.html? ?

? ? ? ? HanLP下載地址：https://github.com/hankcs/HanLP/releases，HanLP項(xiàng)目主頁(yè)：https://github.com/hankcs/HanLP

? ? ? ? 1、HanLP安裝

? ? ? ? ?hanlp是由jar包、properties文件和data數(shù)據(jù)模型組成，因此，在安裝時(shí)，這三種文件都應(yīng)該有?？梢酝ㄟ^建立java工程即可運(yùn)行。

? ? ? ? ?hanlp.properties文件中描述了不同詞典的相對(duì)路徑以及root根目錄，因此，可以在此文件中修改其路徑。

? ? ? ? ?hanlp-1.3.4.jar包中包含了各種算法及提取方法的api，大部分方法都是靜態(tài)的，可以通過HanLP直接進(jìn)行調(diào)用，因此，使用非常方便。

? ? ? ? ?data文件夾中包含了dictionary和model文件夾，dictionary中主要是各種類型的詞典，model主要是分析模型，hanlp api中的算法需要使用model中的數(shù)據(jù)模型。

? ? ? ? ?2、HanLP的使用

? ? ? ? ?普通java工程目錄如下所示：

? ?

? ? ? ? ? ?3、HanLP的具體使用

? ? ? ? ? ?例如：對(duì)excel中的聊天記錄字段進(jìn)行熱點(diǎn)詞的提取，計(jì)算并排序，功能如下所示

? ? ? ? ? ?package com.run.hanlp.demo;

import java.util.ArrayList;

import java.util.Collections;

import java.util.Comparator;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

import org.apache.log4j.Logger;

import com.hankcs.hanlp.HanLP;

import com.hankcs.hanlp.seg.common.Term;

import com.hankcs.hanlp.suggest.Suggester;

import com.hankcs.hanlp.summary.TextRankKeyword;

import com.hankcs.hanlp.tokenizer.NLPTokenizer;

import com.hankcs.hanlp.tokenizer.StandardTokenizer;

import com.run.util.ExcelUtil;

public class HanlpTest {

? ? public static final Logger log = Logger.getLogger(HanlpTest.class);

? ? public static void main(String[] args) {

? ? ? ? log.info("關(guān)鍵詞提取：");

? ? ? ? HanlpTest.getWordAndFrequency();

? ? }

? ??

? ? /**

? ? ?* 獲取所有關(guān)鍵詞和頻率

? ? ?*/

? ? public static void getWordAndFrequency() {

? ? ? ? // String content =

? ? ? ? // "程序員(英文Programmer)是從事程序開發(fā)、維護(hù)的專業(yè)人員。一般將程序員分為程序設(shè)計(jì)人員和程序編碼人員，但兩者的界限并不非常清楚，特別是在中國(guó)。軟件從業(yè)人員分為初級(jí)程序員、高級(jí)程序員、系統(tǒng)分析員和項(xiàng)目經(jīng)理四大類。";

? ? ? ? List> content = ExcelUtil.readExcelByField("i:/rundata/excelinput",5000,5);

? ? ? ? Map allKeyWords=new HashMap<>();

? ? ? ? for(int i=0;i

? ? ? ? ? ? Map oneMap=content.get(i);

? ? ? ? ? ? for(String str:oneMap.keySet()){

? ? ? ? ? ? ? ? int count = oneMap.get(str);

? ? ? ? ? ? ? ? CombinerKeyNum(str,count,allKeyWords);

? ? ? ? ? ? }

? ? ? ? }

? ? ? ? List> sortedMap=sortMapByValue(allKeyWords);

? ? ? ? log.info(sortedMap);

? ? }

? ? /**

? ? ?*?

? ? ?* @param allKeyWords 需要進(jìn)行排序的map

? ? ?* @return 返回排序后的list

? ? ?*/

? ? public static List> sortMapByValue(Map allKeyWords){

? ? ? ? List> sortList=new ArrayList<>(allKeyWords.entrySet());

? ? ? ??

? ? ? ? Collections.sort(sortList, new Comparator>() {? ?

? ? ? ? ? ? public int compare(Map.Entry o1, Map.Entry o2) {? ? ??

? ? ? ? ? ? ? ? return (o2.getValue() - o1.getValue());?

? ? ? ? ? ? }

? ? ? ? });?

? ? ? ? return sortList;

? ? }

? ? /**

? ? ?*?

? ? ?* @param key 關(guān)鍵詞變量

? ? ?* @param value 關(guān)鍵詞詞頻變量

? ? ?* @param allKeyWords? 存放關(guān)鍵詞和詞頻的map

? ? ?*/

? ? public static void CombinerKeyNum(String key,int value,Map allKeyWords){

? ? ? ? if(allKeyWords.containsKey(key)){

? ? ? ? ? ? int count=allKeyWords.get(key);

? ? ? ? ? ? count+=value;

? ? ? ? ? ? allKeyWords.put(key, count);

? ? ? ? }else{

? ? ? ? ? ? allKeyWords.put(key, value);

? ? ? ? }

? ? }

? ? /**

? ? ?*?

? ? ?* @param content 需要提取關(guān)鍵詞的字符串變量

? ? ?* @return 返回關(guān)鍵詞以及關(guān)鍵詞詞頻數(shù)的map

? ? ?*?

? ? ?*/

? ? public static HashMap getKeyWordMap(String content) {

? ? ? ? List list = StandardTokenizer.SEGMENT.seg(content);

? ? ? ? TextRankKeyword textmap = new TextRankKeyword();

? ? ? ? Map map = textmap.getTermAndRank(content);

? ? ? ? Map mapCount = new HashMap<>();

? ? ? ? for (String str : map.keySet()) {

? ? ? ? ? ? String keyStr = str;

? ? ? ? ? ? int count = 0;

? ? ? ? ? ? for (int i = 0; i < list.size(); i++) {

? ? ? ? ? ? ? ? if (keyStr.equals(list.get(i).word)) {

? ? ? ? ? ? ? ? ? ? count++;

? ? ? ? ? ? ? ? }

? ? ? ? ? ? }

? ? ? ? ? ? mapCount.put(keyStr, Integer.valueOf(count));

? ? ? ? }

//? ? ? ? log.info(mapCount);

? ? ? ? return (HashMap) mapCount;

? ? }

}

運(yùn)行之后，結(jié)果如下：

?由此可見，可以看見從excel中提取出來(lái)的熱點(diǎn)詞匯及其頻率。

? ? ? ? ? ?

文章來(lái)源于計(jì)算機(jī)之wind的博客