在采集美女站時(shí)，需要對(duì)關(guān)鍵詞進(jìn)行分詞，最終采用的是python的結(jié)巴分詞方法。
中文分詞是中文文本處理的一個(gè)基礎(chǔ)性工作，結(jié)巴分詞利用進(jìn)行中文分詞。
其基本實(shí)現(xiàn)原理有三點(diǎn)：
1.基于Trie樹(shù)結(jié)構(gòu)實(shí)現(xiàn)高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構(gòu)成的有向無(wú)環(huán)圖（DAG)
2.采用了動(dòng)態(tài)規(guī)劃查找最大概率路徑, 找出基于詞頻的最大切分組合
3.對(duì)于未登錄詞，采用了基于漢字成詞能力的HMM模型，使用了Viterbi算法
安裝（Linux環(huán)境）
下載工具包，解壓后進(jìn)入目錄下，運(yùn)行：python setup.py install
模式
1.默認(rèn)模式，試圖將句子最精確地切開(kāi)，適合文本分析
2.全模式，把句子中所有的可以成詞的詞語(yǔ)都掃描出來(lái)，適合搜索引擎
接口
• 組件只提供jieba.cut 方法用于分詞
• cut方法接受兩個(gè)輸入?yún)?shù)：
• 第一個(gè)參數(shù)為需要分詞的字符串
• cut_all參數(shù)用來(lái)控制分詞模式
• 待分詞的字符串可以是gbk字符串、utf-8字符串或者unicode
• jieba.cut返回的結(jié)構(gòu)是一個(gè)可迭代的generator，可以使用for循環(huán)來(lái)獲得分詞后得到的每一個(gè)詞語(yǔ)(unicode)，也可以用list(jieba.cut(...))轉(zhuǎn)化為list
• seg=jieba.cut("http://www.gg4493.cn/"):
實(shí)例
|
1
2
3
4
5
6
7
|
#! -*- coding:utf-8 -*-import jiebaseg_list = jieba.cut("我來(lái)到北京清華大學(xué)", cut_all = True)print "Full Mode:", ' '.join(seg_list)seg_list = jieba.cut("我來(lái)到北京清華大學(xué)")print "Default Mode:", ' '.join(seg_list) |
結(jié)果
以上這篇python中文分詞,使用結(jié)巴分詞對(duì)python進(jìn)行分詞(實(shí)例講解)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持服務(wù)器之家。
原文鏈接：http://www.cnblogs.com/yangjiyue/archive/2017/11/13/7828810.html
