用Python轉(zhuǎn)換一些常見全角字符為半角

godlong_X 發(fā)布于2019-07-31 11:01 / 987人閱讀

摘要：前言最近在爬日文小說的過程中，經(jīng)常遇到全角甚至和和半角混用，造成我強(qiáng)迫癥強(qiáng)烈不適，就著手專門寫一個(gè)腳本處理之思路首先在網(wǎng)上尋找看是否已經(jīng)有現(xiàn)成庫(kù)腳本能做到，尋找一番之后只找到一些思路文章，這里就不重復(fù)了有一點(diǎn)要注意，不少文章里是的情況，里面

前言

最近在爬日文小說的過程中，經(jīng)常遇到全角（甚至和和半角混用），造成我（強(qiáng)迫癥）強(qiáng)烈不適，就著手專門寫一個(gè)腳本處理之

思路

首先在網(wǎng)上尋找看是否已經(jīng)有現(xiàn)成庫(kù)/腳本能做到，尋找一番之后只找到一些思路文章，這里就不重復(fù)了
有一點(diǎn)要注意，不少文章里是python2的情況，里面用的是unichr函數(shù)，到python3就變成了chr函數(shù)
直接看代碼吧

def SBC2DBC(char):
    chr_code = ord(char)
    # 處理全角中數(shù)字大等于10的情況
    if chr_code in range(9312, 9332):
        return str(chr_code - 9311)
    elif chr_code in range(9332, 9352):
        return str(chr_code - 9331)
    elif chr_code in range(9352, 9372):
        return str(chr_code - 9351)
    elif chr_code in range(8544, 8556):
        return str(chr_code - 8543)

    else:
        if chr_code == 12288: # 全角空格，同0x3000
            chr_code = 32
        if chr_code == 8216 or chr_code == 8217:  # ‘’
            chr_code = 39 # "
        elif chr_code in range(65281, 65374):
            chr_code = chr_code - 65248
        return chr(chr_code)


def SBC2DBC_string(string):
    new_string = ""
    for char in string:
        new_string += SBC2DBC(char)
    return new_string

網(wǎng)上大部分文章里只有全角空格和range(65281,65374)的情況，我時(shí)不時(shí)能遇到一些比較奇怪的全角數(shù)字，比如⑩ ⑽ ⒑ Ⅻ，這里也一并處理了

擴(kuò)展思考

1 . 某些情況下全角反而是更好的選擇，比如文件名，其不能用*:/等符號(hào)，全角就更適合，當(dāng)然這屬于另一個(gè)話題，就不在此展開
2 . 羅馬數(shù)字的情況，在現(xiàn)有的全角字符中羅馬數(shù)字僅到12，如果某位（喪心病狂的）作者用了多個(gè)羅馬數(shù)字的話，比如ⅩⅤ，上面的腳本就不合適了（就轉(zhuǎn)成105），這時(shí)候需要先對(duì)整個(gè)字符串進(jìn)行處理，找到連接在一起的羅馬數(shù)字，然后計(jì)算并替換，這更像是數(shù)據(jù)清洗的范疇，也不展開多說了