NDEFテキストレコード:UTF-8とUTF-16の違いと言語コード
NDEFテキストレコードの先頭1バイトには、テキストがUTF-8かUTF-16か、そして言語コードの長さが入っています。構成を16進数の例とともに解説し、タグを手早く確認する方法も紹介します。
NDEFテキストレコードは、テキストをUTF-8またはUTF-16のどちらかで保存します。どちらなのかは、ペイロードの最初の1バイトで決まります。同じバイトには、その後ろに続く言語コードの長さも入っています。あるスマートフォンでは文字化けするのに別のスマートフォンでは正常に読めるタグがある場合は、この最初の1バイトを確認してください。
ペイロードの構成:ステータスバイト、言語、テキスト
テキストレコードは、タイプが T のWell Knownレコードです。Androidではこのタイプを RTD_TEXT と呼び、TNF_WELL_KNOWN と組み合わせて使います。AndroidのNFC基本ガイドのサンプルコードにもその例があります。ペイロードは、次の3つの部分がこの順に並んでいます。
- ステータスバイト(1バイト)
- 言語コード(US-ASCIIのバイト列)
- テキスト本体(ステータスバイトが示すエンコーディング)
英語の「Hello」をUTF-8で保存する場合を考えます。ペイロードは 02 65 6E で始まります。これはステータスバイトと、ASCII文字の「en」です。その後にテキストのバイト列 48 65 6C 6C 6F が続きます。各部分の間には何も入りません。言語コードの後ろに終端記号はなく、テキストの長さを示すフィールドもありません。レコード自体のペイロード長がそれをカバーしているためです。
ステータスバイト:ビット7と言語コードの長さ
Androidのサンプルでは、言語コードの長さにUTFフラグを足してステータスバイトを作っています。フラグはUTF-8なら 0、UTF-16なら 1 << 7 です。分かりやすく整理すると次のとおりです。
- ビット7: 0ならUTF-8、1ならUTF-16。
- ビット6: 予約済み。オープンソースのndeflibのリファレンスコードは、書き込み時にこのビットを立てず、読み取り時には無視します。
- ビット0からビット5: 言語コードの長さ。ndeflibはマスク
0x3Fで読み取ります。
したがって、英語のUTF-8レコードは 0x02 で始まります。同じ内容をUTF-16にすると 0x82 で始まります。2文字の言語コードであれば、よく目にするのはこの2つの値です。ndeflibのドキュメントには、テキストレコードは「UTF-8またはUTF-16でエンコードされたテキスト文字列」を保持すると書かれており、受け付けるエンコーディングはこの2つだけです。
NFC Forum自身のテキストレコード仕様書はここでは引用していません。上記のビット位置は、Androidのサンプルとndeflibがどちらもそうしているものとして受け取ってください。標準規格からの引用ではありません。
言語コード
言語は、en や de のようなIANAまたはISOの識別子で、ASCIIで書きます。ndeflibのデコーダーは、言語コードの長さが0の場合と、ペイロードより長い場合を拒否します。また、セッターが受け付けるのは1〜63文字です。ただしIANAレジストリとの照合は行わないため、en を ne と打ち間違えても、そのまま保存されます。
Androidでは、言語を省略することもできます。NdefRecordのリファレンスによると、言語を指定しない場合、createTextRecord は「現在のデフォルトロケールに対応する言語コード」を使います。便利ですが、ドイツ語に設定したスマートフォンで書き込んだタグは、テキストが英語でも de と記録されます。読み取る側が言語で絞り込んだり表示を切り替えたりする場合は、自分で指定してください。
UTF-16とバイトオーダーマーク
UTF-16は1文字を2バイトで保存するため、どちらのバイトが先かを知る必要があります。それを示すのがバイトオーダーマーク(BOM)で、ビッグエンディアンなら FE FF、リトルエンディアンなら FF FE です。WikipediaのBOMの記事によると、UTF-16は「BOMで始まることもあれば始まらないこともある」とされています。BOMがない場合、Unicodeではビッグエンディアンとみなすことになっていますが、記事はこの想定が「広く無視されている」とも述べています。
このため、タグにUTF-16を使うのは不安定な選択です。BOMを付けて書き込むツールもあれば、付けないツールもあり、読み取る側が逆のバイト順を想定することもあります。たとえばndeflibは、PythonのUTF-16汎用コーデックを使っています。このコーデックはエンコード時にBOMを書き込み、デコード時にはBOMを頼りにします。UTF-8にはこうした問題がありません。バイトは順番どおりに読まれ、ASCIIだけのテキストならUTF-8でもASCIIと同じバイト列になります。
AndroidがデフォルトでUTF-8を使う理由
Android標準のヘルパー NdefRecord.createTextRecord(languageCode, text) は、ドキュメントで「UTF-8のテキストデータを含む新しいNDEFレコードを作成する」と説明されています。NFC基本ガイドにある長いサンプルではUTF-16も選べますが、1行で呼び出せるヘルパーでは選べません。
iPhoneのUTF-16に関する報告
Appleのフォーラムにある「coreNFC write NDEF with utf8」というスレッドで、2人の開発者が、NFCNDEFPayload.wellKnownTypeTextPayload(string:locale:) はUTF-16で書き込み、その結果がAndroidアプリで読めなかったと述べています。最初の投稿は2019年のもので、2020年にも別の開発者が同じ質問をしています。Appleのエンジニアからの返信はなく、回避策やエラーメッセージも示されていません。
このスレッドから、現在のiOSの挙動は分かりません。確定したルールではなく、テストする理由として受け止めてください。iPhoneのツールでタグに書き込み、Androidのスマートフォンで読み取って、最初の1バイトを確認します。
タグの中身を実際に確認する
レコードの生のペイロードを読み取り、最初の1バイトを見ます。02 の後に 65 6E が続いていれば、言語「en」のUTF-8です。82 ならテキストはUTF-16で、言語コードの直後にBOMがあるはずです。メッセージを別のタグに移したいだけなら、生のダンプではなくNDEFメッセージをコピーする方法を参照してください。書き換えに失敗する場合は、まずタグが読み取り専用になっていないか確認してください。
生のレコードを表示できるNFCアプリを使えば、この確認は10秒で済みます。NFCoreはiPhoneとAndroidでNDEFの読み取りと書き込みができます。タグが 82 を示していたら、エンコーディングを選べるツールでUTF-8に書き直してください。
まとめ
最初のバイトのビット7を見てください。0ならUTF-8、1ならUTF-16です。UTF-8を選び、言語コードは意図して設定しましょう。あるスマートフォンでタグが正しく読めないときは、チップを疑う前にエンコーディングを確認してください。
よくある質問
NDEFテキストレコードは必ずUTF-8でなければいけませんか?
いいえ。レコードではUTF-8とUTF-16のどちらも使え、ステータスバイトのビット7で切り替えます。Android標準のテキストレコード用ヘルパーが書き込むのはUTF-8なので、UTF-8のほうが安全な選択です。
言語コードはどのくらいの長さにできますか?
長さはステータスバイトの下位ビットに入っています。ndeflibは6ビットを読み取るため、最大63文字で、0は拒否されます。実際には、en や de のような数文字のASCIIコードを使います。
テキストレコードが、あるスマートフォンでは読めて別のスマートフォンでは読めないのはなぜですか?
よくある原因の1つが、エンコーディングのビットです。UTF-8だと決めつけて読む端末や、UTF-16のバイトオーダーマークを正しく扱えない端末では、文字化けすることがあります。ペイロードの最初のバイトを確認してください。02 なら2文字の言語コードを持つUTF-8、82 ならUTF-16です。