#
<i> Tokenizer </i> , coché !

Bon travail pour finir ce chapitre !

Après cette plongée en profondeur dans les tokenizers, vous devriez :

- être capable d’entraîner un nouveau tokenizer en utilisant un ancien tokenizer comme modèle,
- comprendre comment utiliser les offsets pour faire correspondre la position des tokens à l’étendue de texte d’origine,
- connaître les différences entre BPE, WordPiece et Unigram,
- être capable de combiner les blocs fournis par la bibliothèque 🤗 Tokenizers pour construire votre propre tokenizer,
- être capable d’utiliser ce tokenizer dans la bibliothèque 🤗 Transformers.

< > Update on GitHub