中文文本中可能出現的標點符號來源比較復雜，通過匹配等手段對他們處理的時候需要格外小心，防止遺漏。以下為在下處理中文標點的時候采用的兩種方法:
中文標點集合
比較常見標點有這些：
??？?＂?！纾ィΓВǎ?，－／：；＜＝＞＠［＼］＾＿｀｛｜｝～?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n.
調用zhon包的zhon.hanzi.punctuation函數即可得到這些中文標點。
如果想用英文的標點，則可調用string包的string.punctuation函數可得到：
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~
因此，比如需要將所有標點符號去除，可以進行以下操作：
>>> import re
>>> from zhon.hanzo import punctuation
>>> line = "測試。。去除標點。。"
>>> print re.sub("[{}]+".format(punctuation), "", line.decode("utf-8")) # 需要將str轉換為unicode
當然，如果想去除重復的符號而只保留一個，那么可以用\1指明：比如
>>> re.sub(ur"([{}])+".format(punctuation), "\1", line.decode("utf-8"))
你也可以手工指定這些標點符號
punctuation = """！？?＂?！纾ィΓВǎ?；＜＝＞＠［＼］＾＿｀｛｜｝～?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
可以通過直接指定unicode碼范圍的辦法來strip，比如:
去除所有半角全角符號，只留字母、數字、中文
def remove_punctuation(line):
rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
line = rule.sub('',line)
return line
漢字的范圍為”\u4e00-\u9fa5“，這個是用Unicode表示的，所以前面必須要加”u“；字符”r“的意思是表示忽略后面的轉義字符，這樣簡化了后面正則表達式里每遇到一個轉義字符還得挨個轉義的麻煩
最后可以組合成為一個函數
def remove_punctuation(line, strip_all=True):
if strip_all:
rule = re.compile(ur"[^a-zA-Z0-9\u4e00-\u9fa5]")
line = rule.sub('',line)
else:
punctuation = """！？?＂?！纾ィΓВǎ海唬迹剑荆溃郏埽荩蓿撸啵?????、〃》「」『』【】〔〕〖〗????????????C―‘'?“”??…??n"""
re_punctuation = "[{}]+".format(punctuation)
line = re.sub(re_punctuation, "", line)
return line.strip()
清洗完畢后，有時候我們希望按照多個標點符號來分割
比如只要遇到中文或英文的逗號和句號等符號就分割，可以直接用translate把這些符號翻譯為統一的分隔符，再split:
strip_chars = '？"。.，,《》[]〖〗“”'
single_line = single_line.translate(str.maketrans(dict.fromkeys(strip_chars, '#')))
single_line = single_line.split('#')
總結
以上所述是小編給大家介紹的Python處理中文標點符號大集合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
