Unicodeエスケープ変換ツールについて

エンコード方向では、各文字をUTF-16のコードユニット単位で\uXXXXに変換します。基本多言語面(BMP)の外にある文字、つまり絵文字や𠮷のような拡張漢字はサロゲートペア2つに分かれ、😀は\ud83d\ude00の12文字になります。デコード方向は\uXXXX、\u{1F600}、Pythonの\U0001F600、\xXXの4形式を認識し、それ以外はそのまま残します。

JSON、JavaScript、Java、C#のエスケープは見た目が同じなので使い回したくなりますが、言語ごとに使える形式と解釈されるタイミングが違います。

😀が\uD83D\uDE00になる計算

\uの後ろは16進4桁だけなので、直接書けるのはU+FFFFまでです。それより上はUTF-16の方式で2つに割ります。U+1F600から0x10000を引くと0xF600。この20ビット値の上位10ビット(0x3D)を0xD800に足すと上位サロゲートD83D、下位10ビット(0x200)を0xDC00に足すと下位サロゲートDE00です。𠮷(U+20BB7)なら\ud842\udfb7になります。

D800〜DFFFはこの用途専用に空けてある領域で、文字は割り当てられていません。\uD83Dだけが単独で残った文字列は壊れた状態(孤立サロゲート)で、UTF-8に書き出すとU+FFFD(�)に化けるかエラーになります。このツールのデコーダは孤立サロゲートができると結果の下に個数付きで警告を出すので、入力がペアの途中で切れていないか確認してください。

同じ絵文字の書き方6種

このツールが読めるのは最初の3つ(Pythonは\U形式のみ)と\xXXです。\N{名前}形式はUnicodeの名前表全体が必要なため対応せず、元のまま残します。

• JSON、Java、C#、ES5までのJavaScript:\uD83D\uDE00(サロゲートペア必須)
• JavaScript(ES2015以降):\u{1F600} — JSONでは不可
• Python 3:\U0001F600(大文字Uと8桁)または\N{GRINNING FACE}
• CSS:\1F600(終わりを示すため後ろに空白1つ)
• HTML:😀 または 😀
• URL:%F0%9F%98%80(UTF-8バイトをパーセントエンコード)

\xe3\x81\x82を入れても「あ」にならない

Pythonで'あ'.encode()を表示するとb'\xe3\x81\x82'、UTF-8の3バイトです。ところがJavaScriptの\xXXはバイトではなく、U+0000〜00FFの文字1つを意味します。このツールも既定ではJavaScriptに従うので、デコードするとã+見えない制御文字2つになります。デコード方向で「連続する \x を UTF-8 バイトとして読む」をオンにすると、続いた\xをバイト列としてまとめUTF-8で読むので「あ」になります。UTF-8として不正なバイトはU+FFFDになります。UTF-8をLatin-1として読んだとき、日本語がãやæで始まる記号列に化けるのも同じ仕組みです。

Javaのコメント内の\u000aがコンパイルを壊す

Javaは\uXXXXを文字列リテラル内だけでなく、字句解析の前にソースファイル全体で先に変換します(Java言語仕様3.3節)。//コメントに\u000aと書くと本物の改行になり、その後ろがコードとして読まれます。文字列には\nを使ってください。JavaScriptとJSONは文字列リテラル内でしか解釈しないので、この問題はありません。

今でもエスケープする理由

Java 9より前の.propertiesファイルはISO-8859-1で読まれたため、日本語をnative2asciiで\uXXXXにするのが定番でした。現在もログやコードレビューで見えない文字(\u00a0、\u200b、全角スペース\u3000)や紛らわしい文字を区別したいときに役立ちます。「英数字・記号はそのまま保持」をオンにすると、印字可能なASCII(0x20〜0x7E)以外はすべて変換されるので、改行とタブも\u000a、\u0009になります。

例

使い方

1. テキストまたはエスケープ文字列を入力します。
2. エンコードかデコードを選びます。
3. 必要に応じてASCII保持・大文字(エンコード)、\xをUTF-8バイトとして読む(デコード)オプションを切り替えます。
4. 結果をコピーします。

よくある質問

関連ガイド

• UnicodeとUTF-8のしくみ:文字化けの歴史から絵文字の「文字数」まで