#
Kuis akhir bab

Ayo uji apa yang telah kamu pelajari di bab ini!

###
1. Kapan kamu sebaiknya melatih tokenizer baru?

Ketika dataset-mu mirip dengan dataset yang digunakan oleh model pralatih yang ada, dan kamu ingin melakukan pretraining model baru Ketika dataset-mu mirip dengan dataset yang digunakan oleh model pralatih yang ada, dan kamu ingin melakukan fine-tune model baru menggunakan model pralatih ini Ketika dataset-mu berbeda dari dataset yang digunakan oleh model pralatih yang ada, dan kamu ingin melakukan pretraining model baru Ketika dataset-mu berbeda dari dataset yang digunakan oleh model pralatih yang ada, tetapi kamu ingin melakukan fine-tune model baru menggunakan model pralatih ini

###
2. Apa keuntungan menggunakan generator daftar teks dibandingkan dengan daftar daftar teks saat memakai train_new_from_iterator() ?

Itulah satu-satunya tipe yang diterima oleh metode `train_new_from_iterator()`. Kamu akan menghindari memuat seluruh dataset ke dalam memori sekaligus. Ini akan memungkinkan pustaka 🤗 Tokenizers untuk menggunakan multiprocessing. Tokenizer yang kamu latih akan menghasilkan teks yang lebih baik.

###
3. Apa keuntungan menggunakan tokenizer “fast”?

Tokenizer ini dapat memproses input lebih cepat dibandingkan tokenizer lambat saat kamu memproses banyak input sekaligus. Tokenizer cepat selalu lebih cepat daripada versi lambatnya. Tokenizer ini dapat melakukan padding dan truncation. Tokenizer ini memiliki fitur tambahan yang memungkinkan kamu memetakan token ke bagian teks asalnya.

###
4. Bagaimana pipeline token-classification menangani entitas yang terdiri dari beberapa token?

Entitas dengan label yang sama digabung menjadi satu entitas. Ada label untuk awal entitas dan label untuk kelanjutan entitas. Dalam satu kata, selama token pertama memiliki label entitas, seluruh kata dianggap memiliki entitas tersebut. Ketika satu token memiliki label entitas, token-token setelahnya yang memiliki label sama dianggap bagian dari entitas tersebut, kecuali jika diberi label sebagai entitas baru.

###
5. Bagaimana pipeline question-answering menangani konteks yang panjang?

Pipeline ini tidak benar-benar menanganinya, hanya memotong konteks panjang hingga batas maksimum model. Pipeline ini membagi konteks menjadi beberapa bagian dan mengambil rata-rata dari hasilnya. Pipeline ini membagi konteks menjadi beberapa bagian (dengan overlap) dan mengambil skor maksimum dari setiap bagian. Pipeline ini membagi konteks menjadi beberapa bagian (tanpa overlap, demi efisiensi) dan mengambil skor maksimum dari setiap bagian.

###
6. Apa itu normalisasi?

Ini adalah proses pembersihan awal yang dilakukan tokenizer pada teks. Ini adalah teknik augmentasi data yang membuat teks lebih ‘normal’ dengan menghapus kata-kata langka. Ini adalah langkah terakhir pasca-pemrosesan di mana tokenizer menambahkan token khusus. Ini adalah saat embedding dibuat dengan rata-rata 0 dan deviasi standar 1.

###
7. Apa itu pre-tokenization dalam subword tokenizer?

Ini adalah tahap sebelum tokenisasi, di mana augmentasi data diterapkan. Ini adalah tahap sebelum tokenisasi, di mana pembersihan dilakukan pada teks. Ini adalah tahap sebelum model tokenizer digunakan, untuk memecah input menjadi kata-kata. Ini adalah tahap sebelum model tokenizer digunakan, untuk memecah input menjadi token.

###
8. Pilih pernyataan yang sesuai dengan model tokenisasi BPE.

BPE adalah algoritma tokenisasi subword yang dimulai dengan kosakata kecil dan mempelajari aturan penggabungan. BPE adalah algoritma tokenisasi subword yang dimulai dengan kosakata besar dan secara bertahap menghapus token. Tokenizer BPE mempelajari aturan penggabungan dengan menggabungkan pasangan token yang paling sering muncul. Tokenizer BPE mempelajari aturan penggabungan berdasarkan skor yang mengutamakan pasangan sering dengan bagian individual yang jarang. BPE memecah kata menjadi karakter lalu menerapkan aturan penggabungan. BPE memecah kata menjadi subword dengan mencari subword terpanjang dari awal yang ada di kosakata.

###
9. Pilih pernyataan yang sesuai dengan model tokenisasi WordPiece.

WordPiece adalah algoritma tokenisasi subword yang dimulai dengan kosakata kecil dan mempelajari aturan penggabungan. WordPiece adalah algoritma tokenisasi subword yang dimulai dengan kosakata besar dan menghapus token. Tokenizer WordPiece menggabungkan pasangan token yang paling sering. Tokenizer WordPiece memilih pasangan token yang memaksimalkan skor berdasarkan frekuensi dan informasi tambahan. WordPiece mencari segmentasi token yang paling mungkin menurut model. WordPiece memecah kata jadi subword dengan mencari subword terpanjang dari awal yang ada di kosakata, lalu mengulanginya untuk sisanya.

###
10. Pilih pernyataan yang sesuai dengan model tokenisasi Unigram.

Unigram adalah algoritma tokenisasi subword yang dimulai dengan kosakata kecil dan mempelajari aturan penggabungan. Unigram adalah algoritma tokenisasi subword yang dimulai dengan kosakata besar dan secara bertahap menghapus token. Unigram menyesuaikan kosakatanya dengan meminimalkan loss yang dihitung dari seluruh korpus. Unigram menyesuaikan kosakatanya dengan menyimpan subword yang paling sering. Unigram memecah kata menjadi subword dengan mencari segmentasi paling mungkin menurut model. Unigram memecah kata menjadi karakter lalu menerapkan aturan penggabungan.
< > Update on GitHub