Byte pair encoding

Le codage par paires d'octets (également connu sous le nom de BPE pour Byte pair encoding, ou codage de digrammes) est un algorithme, décrit pour la première fois en 1994 par Philip Gage, pour coder des chaînes de texte en chaînes plus petites en créant et en utilisant une table de correspondance. Une version légèrement modifiée de l'algorithme est utilisée dans les tokeniseurs des grands modèles de langage. La version initiale de l’algorithme était axée sur la compression. Elle consistait à remplacer la paire d'octets de fréquence la plus élevée par un nouvel octet qui n’était pas contenu dans l’ensemble de données initial. Une table de correspondance était nécessaire pour reconstruire l'ensemble de données initial. La version modifiée génère des « jetons » ou tokens (unités de reconnaissance) qui correspondent à des quantités variables de texte source, allant de simples caractères (y compris des chiffres ou des signes de ponctuation) à des mots entiers (même des mots composés longs).