似懂非懂unicode

pingink 發(fā)布于2019-08-16 10:27 / 3041人閱讀

摘要：起初這個委員沒有認(rèn)識到我國博大精深的語言文化，認(rèn)為用已經(jīng)足以表示世界上的任何一個字符。所以是一種編碼標(biāo)準(zhǔn)，目標(biāo)將世界上的每一個字符用統(tǒng)一二進(jìn)制數(shù)字來表示。編碼期間有一段區(qū)間碼是保留的，保留的范圍是這段字符碼不表示任何字符。

       ---對unicode編碼和java代碼單元問題研究總結(jié)

前言:最近在《java編程思想》一書中看到了代碼點與代碼單元的概念，當(dāng)中介紹了java采用UTF-16編碼。一個代碼單元（code unit）大小為兩字節(jié)16bit，但是部分字符需要用兩個代碼單元表示,所以對java中可表示字符集統(tǒng)稱為代碼點(code point)。當(dāng)時的認(rèn)識是中文字符要用兩個代碼單元表示，其它字符用一個代碼單元表示。直到在segmentFault上看到一個問答，才發(fā)現(xiàn)自己的理解是錯的，因此抽出對unicode做了一個全面的了解。

本文主要想解釋一下幾個問題：

1、什么是unicode，它和通常所說的UTF是什么關(guān)系
2、字符平面（plan)是什么
3、如何用兩個代碼單元表示一個非基本字符

unicode

unicode是一種編碼標(biāo)準(zhǔn)，它是為解決早起ISO編碼不兼容問題而提出的。它不僅包括了如何表示一個字符，還有對字符屬性特征的定義?！緢D】在還沒有unicode編碼的時候，每個國家都有自己的一套編碼標(biāo)準(zhǔn)，這樣就會發(fā)現(xiàn)在兩個用不同編碼標(biāo)準(zhǔn)實現(xiàn)的計算機(jī)之間傳輸數(shù)據(jù)幾乎是不可能的事情，當(dāng)時也沒有兼容多種語言的計算機(jī)。為了大家交流方便，于是各種標(biāo)準(zhǔn)委員會就成立了，制定出了能夠兼容所有字符的編碼標(biāo)準(zhǔn)--unicode。起初這個委員沒有認(rèn)識到我國博大精深的語言文化，認(rèn)為用16bit（2^16=65536)已經(jīng)足以表示世界上的任何一個字符。但當(dāng)他們看到中國漢語字典的時候為時已晚。于是不得不拓展編碼位數(shù)，來兼容這些語言。當(dāng)然現(xiàn)在流通的主流字符還是用一個代碼單元16bit來編碼的。

    所以unicode是一種編碼標(biāo)準(zhǔn)，目標(biāo)將世界上的每一個字符用統(tǒng)一二進(jìn)制數(shù)字來表示。

UTF(Unicode Transformation Format)

那么utf又是什么？Unicode編碼體系分為兩部分：編碼方式和實現(xiàn)方式。編碼方式描述了字符和數(shù)字的對應(yīng)關(guān)系，對應(yīng)的是一個通用的編碼集合（UCS）。例如它用16bit編碼構(gòu)成了基本字符平面,即我們常用的一些字符集合。然后用21bit編碼構(gòu)成了16個輔助字符平面。這種對字符的定義就是編碼方式。
UTF是編碼的實現(xiàn)方式，統(tǒng)一字符集（UCS）就是一張編好的大表，至于如何去實現(xiàn)它，就是UTF統(tǒng)一轉(zhuǎn)換格式的責(zé)任。統(tǒng)一字符集就像一個一個的字母，字母要轉(zhuǎn)換成可以交流的語言。于是有了各種各樣的語言，UTF-8,UTF-16,等等，有的轉(zhuǎn)換格式省空間，有的轉(zhuǎn)換格式容易實現(xiàn)等等。具體用哪一種實現(xiàn)方式完全取決于個人的愛好，但只有兩臺計算機(jī)和軟件采用同一種編碼方式，所得到的結(jié)果才會是相同的。就像有些日本字看起來像漢字卻有著不同的意義。

       所以UTF是對統(tǒng)一字符集的編碼實現(xiàn)方式。

字符平面

字符平面不用過多詳細(xì)的解釋，委員會對不同的編碼范圍進(jìn)行了劃分，例如0號平面對應(yīng)的編碼范圍是:U+0000~U+FFFF,這又稱為基本字符平面簡稱（BMP）是用一個代碼單元編碼的，也是我們平時最常見的字符集。另外對于超過16bit編碼的字符，委員會定義了16個輔助字符平面。每一個平面都有字符范圍的定義。具體可以參考：https://weiji.ga/zh-hans/Unic...

最后詳細(xì)講將一下UTF-16實現(xiàn)

首先看一個比較奇怪的漢子：“?” 它的unicode編碼為 U+23515 它的UTF-16表示為：ud84dudd15。這是如何轉(zhuǎn)換的呢？
再考慮一個問題：“u642du5676u662fu6253u53d1u65afu8482u82ac”這是網(wǎng)絡(luò)上的一串經(jīng)過utf-16編碼的字符串。其中有用一個代碼單元編碼的，有用兩個代碼單元編碼的。瀏覽器或者我們的文本編輯器如何區(qū)分呢？

首先，先說明第二個問題。unicode編碼期間有一段區(qū)間碼是保留的，保留的范圍是0xD800~0xDc00 ,這段字符碼不表示任何字符。瀏覽器或編輯器從左向右解析字符串，如果編碼在這個范圍之外，則證明屬于基本字符平面的字符，之用一個代碼單元表示，在這個范圍之內(nèi)的，則是需要用兩個代碼單元表示的字符。
轉(zhuǎn)化算法： 一起來做個計算題

我們要轉(zhuǎn)換漢字“?”格式的編碼為U+23515，最后結(jié)果應(yīng)該為ud84dudd15

v=0x23515
v"=0x23515-0x10000 = 0x13515 = 0001 0011 0101 0001 0101

vh = 0001001101 // 高十位
vl = 0100010101 // 低十位

w1=0xD800 = 1101 1000 0000 0000
w2=0xDc00 = 1101 1100 0000 0000//保留數(shù)字范圍

w1"= w1|vh = 1101 1000 0100 1101 = 0xd84d
w2"= w2|vl = 1101 1101 0001 0101 = 0xdd15

至此我的疑惑解決了，當(dāng)然還有很多問題，希望能和大家一起討論~

參考鏈接：
維基百科 https://zh.wikipedia.org/wiki...
wiki字符平面:https://weiji.ga/zh-hans/Unic...
計算方法 http://tieba.baidu.com/p/3677...
segment提問帖： https://segmentfault.com/q/10...
《java核心技術(shù)》char字符類型一節(jié)