Pytorch
TensorFlow

#
Kuis Akhir Bab

###
1. Apa urutan pipeline pemodelan bahasa?

Pertama, model yang menangani teks dan mengembalikan prediksi mentah. Tokenizer kemudian mengartikan prediksi ini dan mengubahnya kembali menjadi teks saat dibutuhkan. Pertama, tokenizer yang menangani teks dan mengembalikan ID. Model menangani ID ini dan mengeluarkan prediksi yang bisa berupa teks. Tokenizer menangani teks dan mengembalikan ID. Model menangani ID ini dan mengeluarkan prediksi. Tokenizer kemudian dapat digunakan kembali untuk mengubah prediksi menjadi teks.

###
2. Berapa dimensi tensor yang dihasilkan oleh model Transformer dasar, dan apa saja?

2: Panjang sekuens dan ukuran batch 2: Panjang sekuens dan ukuran hidden 3: Panjang sekuens, ukuran batch, dan ukuran hidden

###
3. Mana dari berikut ini yang merupakan contoh tokenisasi sub-kata ( subword )?

WordPiece Tokenisasi berbasis karakter Memisahkan berdasarkan spasi dan tanda baca BPE Unigram Tidak satu pun dari atas

###
4. Apa itu model head ?

Komponen dari jaringan Transformer dasar yang mengarahkan tensor ke layer yang tepat Juga dikenal sebagai mekanisme self-attention, ia menyesuaikan representasi token berdasarkan token lain dalam sekuens Komponen tambahan, biasanya terdiri dari satu atau beberapa layer, untuk mengubah prediksi Transformer menjadi output yang spesifik untuk suatu tugas

###
5. Apa itu AutoModel ?

Model yang otomatis melatih dirinya pada data Anda Objek yang mengembalikan arsitektur model yang tepat berdasarkan checkpoint Model yang secara otomatis mendeteksi bahasa input untuk memuat bobot yang tepat

###
6. Teknik apa yang perlu diperhatikan saat membuat batch dari sekuens dengan panjang berbeda?

Truncating Mengembalikan tensor Padding Attention masking

###
7. Apa tujuan menerapkan fungsi SoftMax pada output logits dari model klasifikasi sekuens?

Untuk melunakkan logits agar lebih dapat diandalkan. Untuk menerapkan batas atas dan bawah agar lebih mudah dipahami. Agar jumlah total output menjadi 1, sehingga bisa ditafsirkan secara probabilistik.

###
8. Metode apa yang menjadi inti dari API tokenizer?

`encode`, karena bisa mengubah teks ke ID dan ID ke prediksi Memanggil objek tokenizer secara langsung. `pad` `tokenize`

###
9. Apa isi dari variabel result dalam contoh kode berikut?

    from transformers import AutoTokenizer

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    result = tokenizer.tokenize("Hello!")

Daftar string, di mana tiap string adalah token Daftar ID Satu string yang berisi semua token

###
10. Apakah ada yang salah dengan kode berikut?

    from transformers import AutoTokenizer, AutoModel

    tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
    model = AutoModel.from_pretrained("gpt2")

    encoded = tokenizer("Hey!", return_tensors="pt")
    result = model(**encoded)

Tidak, ini tampaknya benar. Tokenizer dan model sebaiknya selalu dari checkpoint yang sama. Sebaiknya menggunakan padding dan truncation karena setiap input dianggap sebagai batch.
< > Update on GitHub