Enregistrements texte NDEF : UTF-8 ou UTF-16 et codes de langue
Le premier octet d'un enregistrement texte NDEF indique si le texte est en UTF-8 ou en UTF-16, et quelle est la longueur du code de langue. Voici la structure, avec des exemples en hexadécimal et une méthode rapide pour vérifier un tag.
Un enregistrement texte NDEF stocke son texte en UTF-8 ou en UTF-16, et c'est le tout premier octet de la charge utile (payload) qui l'indique. Ce même octet contient aussi la longueur du code de langue qui suit. Si un tag s'affiche en charabia sur un téléphone et correctement sur un autre, c'est ce premier octet qu'il faut examiner.
Structure de la charge utile : octet d'état, langue, texte
Un enregistrement texte est un enregistrement de type Well Known avec le type T. Android nomme ce type RTD_TEXT et l'utilise avec TNF_WELL_KNOWN, comme le montre le code d'exemple du guide des bases du NFC d'Android. La charge utile comprend trois parties, dans cet ordre :
- Un octet d'état.
- Le code de langue, sous forme d'octets US-ASCII.
- Le texte lui-même, dans l'encodage indiqué par l'octet d'état.
Prenons le mot « Hello » en anglais, encodé en UTF-8. La charge utile commence par 02 65 6E, c'est-à-dire l'octet d'état suivi des lettres ASCII « en », puis viennent les octets du texte 48 65 6C 6C 6F. Rien d'autre ne sépare ces parties. Il n'y a pas de terminateur après le code de langue ni de champ de longueur pour le texte, car la longueur de la charge utile de l'enregistrement le couvre déjà.
L'octet d'état : le bit 7 et la longueur de la langue
L'exemple d'Android construit l'octet d'état en ajoutant un indicateur UTF à la longueur de la langue. L'indicateur vaut 0 pour l'UTF-8 et 1 << 7 pour l'UTF-16. Concrètement :
- Bit 7 : 0 signifie UTF-8, 1 signifie UTF-16.
- Bit 6 : réservé. Le code de référence open source ndeflib ne le positionne jamais à l'écriture et l'ignore à la lecture.
- Bits 0 à 5 : la longueur du code de langue. ndeflib les lit avec le masque
0x3F.
Un enregistrement en anglais et en UTF-8 commence donc par 0x02. Le même enregistrement en UTF-16 commence par 0x82. Avec un code de langue de deux lettres, ce sont les deux valeurs que vous verrez le plus souvent. La documentation de ndeflib indique qu'un enregistrement texte contient « a UTF-8 or UTF-16 encoded text string » (une chaîne de texte encodée en UTF-8 ou en UTF-16), et ce sont les deux seuls encodages acceptés.
Nous n'avons pas cité ici la spécification officielle de l'enregistrement texte du NFC Forum. Considérez donc les positions de bits ci-dessus comme ce que font l'exemple d'Android et ndeflib, et non comme une citation de la norme.
Codes de langue
La langue est un identifiant IANA ou ISO tel que en ou de, écrit en ASCII. Le décodeur de ndeflib rejette une longueur de langue égale à zéro ou supérieure à la charge utile, et son setter accepte de 1 à 63 caractères. Il ne vérifie pas le code par rapport au registre IANA : une faute de frappe comme ne au lieu de en est donc enregistrée sans protestation.
Sur Android, vous pouvez omettre la langue. La référence de NdefRecord précise que createTextRecord utilise « the language code corresponding to the current default locale » (le code de langue correspondant aux paramètres régionaux par défaut actuels) quand vous n'en fournissez pas. C'est pratique, mais un tag écrit depuis un téléphone réglé sur l'allemand indiquera de même si le texte est en anglais. Si vos lecteurs filtrent ou affichent selon la langue, définissez-la vous-même.
UTF-16 et la marque d'ordre des octets
L'UTF-16 stocke chaque caractère sur deux octets, il faut donc savoir lequel vient en premier. Une marque d'ordre des octets (BOM, pour byte order mark) répond à cette question : FE FF pour le big-endian, FF FE pour le little-endian. Selon l'article Wikipédia sur la marque d'ordre des octets, l'UTF-16 « may or may not begin with a BOM » (peut commencer ou non par une BOM), et en l'absence de BOM, Unicode indique de supposer le big-endian, même si l'article ajoute que cette présomption est « widely ignored » (largement ignorée).
C'est pourquoi l'UTF-16 est un choix fragile pour un tag. Un outil d'écriture peut inclure une BOM, un autre l'omettre, et un lecteur peut deviner l'autre ordre des octets. ndeflib, par exemple, utilise le codec UTF-16 générique de Python, qui écrit une BOM à l'encodage et s'appuie dessus au décodage. L'UTF-8 n'a rien de tout cela : les octets sont lus dans l'ordre, et un texte en ASCII pur donne les mêmes octets en UTF-8 qu'en ASCII.
Pourquoi Android utilise l'UTF-8 par défaut
La fonction d'aide d'Android, NdefRecord.createTextRecord(languageCode, text), est documentée comme créant « a new NDEF record containing UTF-8 text data » (un nouvel enregistrement NDEF contenant des données texte en UTF-8). L'exemple plus long du guide des bases du NFC permet de choisir l'UTF-16, mais pas cette fonction d'une seule ligne.
Un problème signalé avec l'UTF-16 sur iPhone
Deux développeurs, sur les forums d'Apple, dans un fil intitulé « coreNFC write NDEF with utf8 », affirment que NFCNDEFPayload.wellKnownTypeTextPayload(string:locale:) écrit de l'UTF-16 et que le résultat était illisible dans une application Android. Le premier message date de 2019 et un second développeur pose la même question en 2020. Aucun ingénieur d'Apple n'a répondu, et le fil ne propose ni contournement ni message d'erreur.
Ce fil ne permet pas de savoir ce que font les versions actuelles d'iOS. Voyez-y une raison de tester, pas une règle confirmée : écrivez un tag avec votre outil sur iPhone, lisez-le sur un téléphone Android, et regardez le premier octet.
Vérifier ce que contient réellement votre tag
Lisez la charge utile brute de l'enregistrement et regardez le premier octet. 02 suivi de 65 6E correspond à de l'UTF-8 avec « en ». 82 signifie que le texte est en UTF-16, et vous devez vous attendre à une BOM juste après le code de langue. Si vous voulez seulement déplacer le message vers un autre tag, consultez copier le message NDEF plutôt qu'un dump brut, et si une réécriture échoue, vérifiez d'abord si le tag est en lecture seule.
Une application NFC qui affiche les enregistrements bruts transforme cela en vérification de dix secondes. NFCore lit et écrit du NDEF sur iPhone et sur Android. Si un tag affiche 82, réécrivez-le en UTF-8 avec un outil qui vous permet de choisir l'encodage.
En résumé
Regardez le bit 7 du premier octet : 0 pour l'UTF-8, 1 pour l'UTF-16. Préférez l'UTF-8, définissez le code de langue volontairement, et quand un tag se lit mal sur un téléphone, vérifiez l'encodage avant d'accuser la puce.
Foire aux questions
Un enregistrement texte NDEF doit-il obligatoirement être en UTF-8 ?
Non. L'enregistrement autorise l'UTF-8 ou l'UTF-16, selon le bit 7 de l'octet d'état. L'UTF-8 est le choix le plus sûr, car c'est ce qu'écrit la fonction d'aide d'Android pour les enregistrements texte.
Quelle peut être la longueur du code de langue ?
La longueur se trouve dans les bits de poids faible de l'octet d'état. ndeflib lit six bits, soit jusqu'à 63 caractères, et rejette zéro. En pratique, des codes comme en ou de ne comptent que quelques caractères ASCII.
Pourquoi un enregistrement texte peut-il se lire correctement sur un téléphone et pas sur un autre ?
Une cause fréquente est le bit d'encodage. Un lecteur qui suppose de l'UTF-8, ou qui gère mal la marque d'ordre des octets de l'UTF-16, peut afficher du charabia. Vérifiez le premier octet de la charge utile : 02 signifie UTF-8 avec une langue de deux lettres, et 82 signifie UTF-16.