摘要：我可以明確告訴你這不是，但它可以用解釋器運(yùn)行。這種黑魔法，還要從說起。提案者設(shè)想使用一種特殊的文件首注釋，用于指定代碼的編碼。暴露了一個函數(shù)，用于注冊自定義編碼。所謂的黑魔法其實(shí)并不神秘，照貓畫虎定義好相應(yīng)的接口即可。

首發(fā)于我的博客，轉(zhuǎn)載請注明出處

本文為科普文
本文中的例子在 Ubuntu 14.04 / Python 2.7.11 下運(yùn)行成功，Python 3+ 的接口有些許不同，需要讀者自行轉(zhuǎn)換

先看一段代碼：

example.py：

# -*- coding=yi -*-

從 math 導(dǎo)入 sin, pi

打印 "sin(pi) =", sin(pi)

這是什么？！是 Python 嗎？可以運(yùn)行嗎？——想必你會問。

我可以明確告訴你：這不是 Python，但它可以用 Python 解釋器運(yùn)行。當(dāng)然，如果你愿意，可以叫它 “Yython” （易語言 + Python）。

怎么做到的？也許你已經(jīng)注意到第一行的奇怪注釋——沒錯，秘密全在這里。

這種黑魔法，還要從 PEP 263 說起。

我相信 99% 的中國 Python 開發(fā)者都曾經(jīng)為一個問題而頭疼——字符編碼。那是每個初學(xué)者的夢靨。

還記得那天嗎？當(dāng)你試圖用代碼向它示好：

print "你好"

它卻給你當(dāng)頭一棒：

SyntaxError: Non-ASCII character "xe4" in file chi.py on line 1, but no encoding declared

【一臉懵逼】

于是，你上網(wǎng)查找解決方案。很快，你便有了答案：

# -*- coding=utf-8 -*-

print "你好"

其中第一行的注釋用于指定解析該文件的編碼。

這個特新來自 2001 年的 PEP 263 -- Defining Python Source Code Encodings，它的出現(xiàn)是為了解決一個反響廣泛的問題：

In Python 2.1, Unicode literals can only be written using the Latin-1 based encoding "unicode-escape". This makes the programming environment rather unfriendly to Python users who live and work in non-Latin-1 locales such as many of the Asian countries. Programmers can write their 8-bit strings using the favorite encoding, but are bound to the "unicode-escape" encoding for Unicode literals.

Python 默認(rèn)用 ASCII 編碼解析文件，給 15 年前的非英文世界開發(fā)者造成了不小的困擾——看來 Guido 老爹有些個人主義，設(shè)計(jì)時只考慮到了英文世界。

提案者設(shè)想：使用一種特殊的文件首注釋，用于指定代碼的編碼。這個注釋的正則原型是這樣的：

^[ 	v]*#.*?coding[:=][ 	]*([-_.a-zA-Z0-9]+)

也就是說 # -*- coding=utf-8 -*- 并不是唯一的寫法，只是 Emacs 推薦寫法而已。諸如 # coding=utf-8、# encoding: utf-8 都是合法的——因此你不必驚訝于他人編碼聲明與你不同。

正則的捕獲組 ([-_.a-zA-Z0-9]+) 將會被用作查找編碼的名稱，查找到的編碼信息會被用于解碼文件。也就是說，import example 背后其實(shí)相當(dāng)于有如下轉(zhuǎn)換過程：

with open("example.py", "r") as f:
    content = f.read()
    encoding = extract_encoding_info(content) # 解析首注釋
    exec(content.decode(encoding))

問題其實(shí)又回到我們常用的 str.encode 和 str.decode 上來了。

可 Python 怎么這么強(qiáng)大？！幾乎所有編碼它都認(rèn)得！這是怎么做到的？是標(biāo)準(zhǔn)庫？還是內(nèi)置于解釋器中？

一切，都是 codecs 模塊在起作用。

codecs 算是較為冷門的一個模塊，更為常用的是 str 的 encode/decode 的方法——但它們本質(zhì)都是對 codecs 的調(diào)用。

打開 /path/to/your/python/lib/encodings/ 目錄，你會發(fā)現(xiàn)有許多以編碼名稱命名的 .py 文件，如 utf_8.py、latin_1.py。這些都是系統(tǒng)預(yù)定義的編碼系統(tǒng)，實(shí)現(xiàn)了應(yīng)對各種編碼的邏輯——也就是說：編碼系統(tǒng)其實(shí)也是普通的模塊。

除了內(nèi)置的編碼，用戶也可以 自行定義編碼系統(tǒng)。codecs 暴露了一個 register 函數(shù)，用于注冊自定義編碼。register 簽名如下：

codecs.register(search_function)
Register a codec search function. Search functions are expected to take one argument, the encoding name in all lower case letters, and return a CodecInfo object having the following attributes:

name: The name of the encoding;
encode: The stateless encoding function;
decode: The stateless decoding function;
incrementalencoder: An incremental encoder class or factory function;
incrementaldecoder: An incremental decoder class or factory function;
streamwriter: A stream writer class or factory function;
streamreader: A stream reader class or factory function.

encode 和 decode 是無狀態(tài)的編碼/解碼的函數(shù)，簡單說就是：前一個被編解碼的字符串與后一個沒有關(guān)聯(lián)。如果你想用 codecs 系統(tǒng)進(jìn)行語法樹解析，解析邏輯最好不要寫在這里，因?yàn)榇a的連續(xù)性無法被保證；incremental* 則是有狀態(tài)的解析類，能彌補(bǔ) encode、decode 的不足；stream* 是流相關(guān)的解析類，行為通常與 encode/decode 相同。

關(guān)于這六個對象的具體寫法，可以參考 /path/to/your/python/lib/encodings/rot_13.py，該文件實(shí)現(xiàn)了一個簡單的密碼系統(tǒng)。

那么，是時候揭開真相了。

黑魔法其實(shí)并不神秘，照貓畫虎定義好相應(yīng)的接口即可。作為例子，這里只處理用到的關(guān)鍵字：

yi.py：

# encoding=utf8

import codecs

yi_map = {
    u"從": "from",
    u"導(dǎo)入": "import",
    u"打印": "print"
}


def encode(input):
    for key, value in yi_map.items():
        input = input.replace(value, key)

    return input.encode("utf8")


def decode(input):
    input = input.decode("utf8")
    for key, value in yi_map.items():
        input = input.replace(key, value)

    return input


class Codec(codecs.Codec):

    def encode(self, input, errors="strict"):
        input = encode(input)

        return (input, len(input))

    def decode(self, input, errors="strict"):
        input = decode(input)

        return (input, len(input))


class IncrementalEncoder(codecs.IncrementalEncoder):
    def encode(self, input, final=False):
        return encode(input)


class IncrementalDecoder(codecs.IncrementalDecoder):
    def decode(self, input, final=False):
        return decode(input)


class StreamWriter(Codec, codecs.StreamWriter):
    pass


class StreamReader(Codec, codecs.StreamReader):
    pass


def register_entry(encoding):
    return codecs.CodecInfo(
        name="yi",
        encode=Codec().encode,
        decode=Codec().decode,
        incrementalencoder=IncrementalEncoder,
        incrementaldecoder=IncrementalDecoder,
        streamwriter=StreamWriter,
        streamreader=StreamReader
    ) if encoding == "yi" else None

在命令行里注冊一下，就可以看到激動人心的結(jié)果了：

>>> import codecs, yi
>>> codecs.register(yi.register_entry)
>>> import example
sin(pi) = 1.22464679915e-16

有時，對習(xí)以為常的東西深入了解一下，說不定會有驚人的發(fā)現(xiàn)。

codecs - Codec registry and base classes