Python - jieba分词

发布时间:2019-08-05 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Python - jieba分词脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

1.分词

1.1主要分词函数

  • jieba.cut(sentence, cut_all, HMM):sentence-需要分词的字符串;cut_all-控制是否采用全模式;HMM-控制是否使用HMM模型;jieba.cut()返回的结构是一个可迭代的 generator。

  • jieba.cut_for_seArch(sentence, HMM):sentence-需要分词的字符串;HMM-控制是否使用HMM模型;这种分词方法粒度比较细,成为搜索引擎模式;jieba.cut_for_search()返回的结构是一个可迭代的 generator。

  • jieba.lcut()以及jieba.lcut_for_search用法和上述一致,最终返回的结构是一个列表list。

1.2示例

import jieba as jb

seg_list = jb.cut("我来到北京清华大学", cut_all=True)
PRint("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jb.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式

seg_list = jb.cut("他来到了网易杭研大厦")  
print("默认模式: " + "/ ".join(seg_list)) # 默认是精确模式

seg_list = jb.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  
print("搜索引擎模式: " + "/ ".join(seg_list)) # 搜索引擎模式

脚本宝典总结

以上是脚本宝典为你收集整理的Python - jieba分词全部内容,希望文章能够帮你解决Python - jieba分词所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。