?
? 分詞工具的選擇:
現(xiàn)在對于中文分詞,分詞工具有很多種,比如說: jieba分詞、thulac、SnowNLP等。在這篇文檔中,筆者使用的jieba分詞,并且基于python3環(huán)境,選擇jieba分詞的理由是其比較簡單易學(xué),容易上手,并且分詞效果還很不錯。
?
分詞前的準(zhǔn)備:
待分詞的中文文檔
存放分詞之后的結(jié)果文檔
中文停用詞文檔(用于去停用詞,在網(wǎng)上可以找到很多)
?
分詞之后的結(jié)果呈現(xiàn):
圖1? 去停用詞和分詞前的中文文檔
圖 2去停用詞和分詞之后的結(jié)果文檔
?
分詞和去停用詞代碼實現(xiàn):
圖 3
轉(zhuǎn)載自: https://www.cnblogs.com/zuixime0515/p/9221156.html
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
