HanLP：pyhanlppython中⽂分词，以及加⼊⾃定义词典
fw = open(HanLP_save_path, 'w', encoding='utf-8')    # 分词结果保存
with open(origin_path, 'r', encoding='utf-8') as fr:  # 需要分词的⽂档
for line in fr:
line = line.strip()
word_list = HanLP.segment(line)  # 返回是⼀个列表[⼥性/n, ，/w, 88/m, 岁/qt, ，/w, 农民/nnt, ]
# print(word_list)
for term in word_list:    # 分词结果格式：单词和词性。term.word, term.nature：获取单词与词性
# print(term.word)
fw.write(term.word + ' ')
fw.write('\n')
fw.close()
使⽤⾃定义词典：
例如加⼊⾃⼰整理的词典：（只有词，没有词性词频）
注意：
词典中词之间不能有空格，因为官⽅词典每⾏格式：[单词] [词性A] [A的频次] [词性B] [B的频次]...
有看到说有空格，保存成csv格式，但是运⾏结果发现，分词效果不好。然后我就选择把带空格的给删了，哈哈~
1、把词典放到下⾯的路径：..\Anaconda3\Lib\site-packages\pyhanlp\static\data\dictionary\custom
2、把词典加⼊到配置⽂件 hanlp.properties
注意红⾊框⾥的内容，路径问题：; ；两个是在同⼀个⽬录，
其次优先级问题：所以选择了放在前⾯（默认词性默认是名词n）
3、清除缓存bin，之后运⾏才会加载新的⽂件。（敲重点不清除⾃定义字典可能不起作⽤）
#rm -bin    这⾥本宝宝选择的⼿动删除此⽂件
4、执⾏分词代码就ok了
参考：
8. ⽤户⾃定义词典
jieba、HanLP、PKUSeg分词结果⽐较（仅限于我的实验总结，仅供参考）：HanLP 和 Jieba ⽐PKUSeg要好。
不加⾃定义词典，Jieba好⼀些，加⼊⾃定义词典HanLP好⼀些
python官方文档中文版

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。