NDEF-Text-Record: UTF-8 vs. UTF-16 und Sprachcodes
Das erste Byte eines NDEF-Text-Records verrät, ob der Text UTF-8 oder UTF-16 ist und wie lang der Sprachcode ist. Hier siehst du den Aufbau mit Hex-Beispielen und erfährst, wie du einen Tag schnell prüfst.
Ein NDEF-Text-Record speichert seinen Text entweder als UTF-8 oder als UTF-16, und das allererste Byte des Payloads gibt an, welches von beiden. Dasselbe Byte enthält auch die Länge des Sprachcodes, der darauf folgt. Wenn ein Tag auf einem Handy als Zeichensalat erscheint und auf einem anderen einwandfrei gelesen wird, lohnt sich der Blick auf dieses erste Byte.
Der Aufbau des Payloads: Status-Byte, Sprache, Text
Ein Text-Record ist ein Well-Known-Record mit dem Typ T. Android nennt diesen Typ RTD_TEXT und verwendet ihn mit TNF_WELL_KNOWN, wie der NFC-Grundlagen-Leitfaden von Android in seinem Beispielcode zeigt. Der Payload besteht aus drei Teilen, in dieser Reihenfolge:
- Ein Status-Byte.
- Der Sprachcode als US-ASCII-Bytes.
- Der Text selbst, in der Codierung, die das Status-Byte angibt.
Nimm das Wort "Hello" auf Englisch, als UTF-8. Der Payload beginnt mit 02 65 6E, also dem Status-Byte, gefolgt von den ASCII-Buchstaben "en", und dann den Textbytes 48 65 6C 6C 6F. Zwischen den Teilen steht nichts weiter. Nach dem Sprachcode gibt es kein Abschlusszeichen und kein Längenfeld für den Text, weil die Payload-Länge des Records ihn bereits abdeckt.
Das Status-Byte: Bit 7 und die Länge des Sprachcodes
Das Android-Beispiel baut das Status-Byte, indem es zur Länge des Sprachcodes ein UTF-Flag addiert. Das Flag ist 0 für UTF-8 und 1 << 7 für UTF-16. Einfach gesagt:
- Bit 7: 0 steht für UTF-8, 1 für UTF-16.
- Bit 6: reserviert. Der Open-Source-Code der ndeflib-Referenz setzt es beim Schreiben nie und ignoriert es beim Lesen.
- Bits 0 bis 5: die Länge des Sprachcodes. ndeflib liest sie mit der Maske
0x3F.
Ein englischer UTF-8-Record beginnt also mit 0x02. Derselbe Record in UTF-16 beginnt mit 0x82. Bei einem zweistelligen Sprachcode sind das die beiden Werte, die dir am häufigsten begegnen. In der ndeflib-Dokumentation steht, dass ein Text-Record „einen UTF-8- oder UTF-16-codierten Text-String“ enthält, und das sind die einzigen beiden Codierungen, die akzeptiert werden.
Die Text-Record-Spezifikation des NFC Forums selbst haben wir hier nicht zitiert. Verstehe die obigen Bitpositionen also als das, was das Android-Beispiel und ndeflib beide tun, und nicht als Zitat aus dem Standard.
Sprachcodes
Die Sprache ist ein IANA- oder ISO-Bezeichner wie en oder de, geschrieben als ASCII. Der Decoder von ndeflib lehnt eine Sprachcode-Länge von null ab, ebenso eine Länge, die größer als der Payload ist, und sein Setter akzeptiert 1 bis 63 Zeichen. Der Code wird nicht gegen das IANA-Register geprüft, deshalb wird ein Tippfehler wie ne statt en ohne Beanstandung gespeichert.
Unter Android kannst du die Sprache auch weglassen. Die NdefRecord-Referenz sagt, dass createTextRecord „den Sprachcode, der der aktuellen Standardsprache (Locale) entspricht“ verwendet, wenn du keinen angibst. Das ist bequem, aber ein Tag, der auf einem Handy mit deutscher Spracheinstellung geschrieben wird, trägt de, auch wenn der Text englisch ist. Wenn deine Leser nach Sprache filtern oder anzeigen, setze sie deshalb selbst.
UTF-16 und die Byte Order Mark
UTF-16 speichert jedes Zeichen in zwei Bytes, du musst also wissen, welches Byte zuerst kommt. Eine Byte Order Mark (BOM) beantwortet das: FE FF für Big-Endian, FF FE für Little-Endian. Laut dem Wikipedia-Artikel zur Byte Order Mark „kann UTF-16 mit einer BOM beginnen oder nicht“, und wenn keine vorhanden ist, sieht Unicode Big-Endian als Annahme vor, wobei der Artikel ergänzt, dass diese Annahme „weitgehend ignoriert“ wird.
Deshalb ist UTF-16 für einen Tag die anfällige Wahl. Ein Schreibprogramm fügt vielleicht eine BOM ein, ein anderes lässt sie weg, und ein Lesegerät rät womöglich die andere Byte-Reihenfolge. ndeflib zum Beispiel nutzt den generischen UTF-16-Codec von Python, der beim Codieren eine BOM schreibt und sich beim Decodieren auf sie verlässt. UTF-8 hat dieses Problem nicht: Die Bytes werden der Reihe nach gelesen, und reiner ASCII-Text besteht in UTF-8 aus denselben Bytes wie in ASCII.
Warum Android standardmäßig UTF-8 nutzt
Die eigene Hilfsmethode von Android, NdefRecord.createTextRecord(languageCode, text), ist dokumentiert als Methode, die „einen neuen NDEF-Record mit UTF-8-Textdaten“ erstellt. Das längere Beispiel im NFC-Grundlagen-Leitfaden lässt dich UTF-16 wählen, die einzeilige Hilfsmethode dagegen nicht.
Ein gemeldetes UTF-16-Problem beim iPhone
Zwei Entwickler in den Apple-Foren sagen in einem Thread mit dem Titel "coreNFC write NDEF with utf8", dass NFCNDEFPayload.wellKnownTypeTextPayload(string:locale:) UTF-16 schreibt und das Ergebnis in einer Android-App nicht lesbar war. Der erste Beitrag stammt von 2019, und 2020 stellt ein zweiter Entwickler dieselbe Frage. Ein Apple-Techniker hat nicht geantwortet, und der Thread bietet weder eine Umgehungslösung noch eine Fehlermeldung.
Dieser Thread kann uns nicht sagen, was aktuelle iOS-Versionen tun. Nimm ihn als Anlass zum Testen, nicht als gesicherte Regel: Schreibe einen Tag mit deinem iPhone-Tool, lies ihn auf einem Android-Handy und sieh dir das erste Byte an.
Prüfen, was dein Tag wirklich enthält
Lies den rohen Payload des Records und sieh dir das erste Byte an. 02 gefolgt von 65 6E ist UTF-8 mit "en". 82 bedeutet, dass der Text UTF-16 ist, und direkt nach dem Sprachcode solltest du eine BOM erwarten. Wenn du die Nachricht nur auf einen anderen Tag übertragen willst, lies NDEF-Nachricht kopieren statt Rohdump, und wenn ein erneutes Schreiben fehlschlägt, prüfe zuerst, ob der Tag schreibgeschützt ist.
Eine NFC-App, die rohe Records anzeigt, macht daraus eine Prüfung von zehn Sekunden. NFCore liest und schreibt NDEF auf dem iPhone und unter Android. Zeigt ein Tag 82, schreibe ihn mit einem Tool, in dem du die Codierung auswählen kannst, als UTF-8 neu.
Die Kurzfassung
Sieh dir Bit 7 des ersten Bytes an: 0 ist UTF-8, 1 ist UTF-16. Bevorzuge UTF-8, setze den Sprachcode bewusst, und wenn ein Tag auf einem Handy falsch gelesen wird, prüfe die Codierung, bevor du dem Chip die Schuld gibst.
Häufig gestellte Fragen
Muss ein NDEF-Text-Record UTF-8 sein?
Nein. Der Record erlaubt UTF-8 oder UTF-16, gewählt über Bit 7 des Status-Bytes. UTF-8 ist die sicherere Wahl, weil es genau das ist, was die Text-Record-Hilfsmethode von Android schreibt.
Wie lang darf der Sprachcode sein?
Die Länge steht in den unteren Bits des Status-Bytes. ndeflib liest sechs Bits, also bis zu 63 Zeichen, und lehnt null ab. In der Praxis bestehen Codes wie en oder de aus wenigen ASCII-Zeichen.
Warum wird ein Text-Record auf einem Handy richtig gelesen und auf einem anderen nicht?
Eine häufige Ursache ist das Codierungs-Bit. Ein Lesegerät, das UTF-8 annimmt, oder eines, das eine UTF-16-Byte-Order-Mark falsch behandelt, kann Zeichensalat anzeigen. Prüfe das erste Payload-Byte: 02 bedeutet UTF-8 mit zweistelligem Sprachcode, 82 bedeutet UTF-16.