#
Tokenizer, selesai!

Kerja bagus telah menyelesaikan bab ini!

Setelah menyelami dunia tokenizer secara mendalam, kini kamu seharusnya:

- Mampu melatih tokenizer baru menggunakan tokenizer lama sebagai template
- Memahami cara menggunakan offset untuk memetakan posisi token ke bagian asli dalam teks
- Mengetahui perbedaan antara BPE, WordPiece, dan Unigram
- Mampu mencampur dan mencocokkan blok yang disediakan oleh pustaka 🤗 Tokenizers untuk membangun tokenizer versimu sendiri
- Mampu menggunakan tokenizer tersebut dalam pustaka 🤗 Transformers

< > Update on GitHub