#
Ringkasan

Dalam bab ini, Anda telah diperkenalkan pada dasar-dasar model Transformer, Model Bahasa Besar (LLM), dan bagaimana mereka merevolusi dunia AI dan bidang lainnya.

##
Konsep-konsep utama yang dibahas

###
Pemrosesan Bahasa Alami (NLP) dan LLM

Kita telah membahas apa itu NLP dan bagaimana Model Bahasa Besar telah mengubah bidang ini. Anda telah mempelajari bahwa:

- NLP mencakup berbagai macam tugas, mulai dari klasifikasi hingga generasi teks
- LLM adalah model kuat yang dilatih pada jumlah data teks yang sangat besar
- Model-model ini dapat melakukan berbagai tugas dalam satu arsitektur
- Terlepas dari kemampuannya, LLM memiliki keterbatasan seperti halusinasi dan bias

###
Kemampuan Transformer

Anda telah melihat bagaimana fungsi `pipeline()` dari 🤗 Transformers memudahkan penggunaan model pralatih untuk berbagai tugas:

- Klasifikasi teks, klasifikasi token, dan tanya jawab
- Generasi teks dan peringkasan
- Penerjemahan dan tugas sequence-to-sequence lainnya
- Pengenalan suara dan klasifikasi gambar

###
Arsitektur Transformer

Kita telah membahas cara kerja model Transformer secara umum, termasuk:

- Pentingnya mekanisme perhatian (attention)
- Bagaimana pembelajaran transfer memungkinkan model beradaptasi dengan tugas tertentu
- Tiga varian arsitektur utama: hanya-encoder, hanya-decoder, dan encoder-decoder

###
Arsitektur model dan penerapannya

Aspek penting dalam bab ini adalah memahami arsitektur mana yang digunakan untuk tugas yang berbeda:

Model | Contoh | Tugas
--- | --- | ---
Hanya-encoder | BERT, DistilBERT, ModernBERT | Klasifikasi kalimat, pengenalan entitas bernama, tanya jawab ekstraktif
Hanya-decoder | GPT, LLaMA, Gemma, SmolLM | Generasi teks, AI percakapan, penulisan kreatif
Encoder-decoder | BART, T5, Marian, mBART | Peringkasan, penerjemahan, tanya jawab generatif

###
Perkembangan LLM modern

Anda juga telah mempelajari perkembangan terkini di bidang ini:

- Bagaimana LLM berkembang dalam ukuran dan kapabilitas seiring waktu
- Konsep hukum skala (scaling laws) dan bagaimana mereka memandu pengembangan model
- Mekanisme perhatian khusus yang membantu model memproses urutan yang lebih panjang
- Pendekatan pelatihan dua fase: pralatih dan penyetelan instruksi (instruction tuning)

###
Aplikasi praktis

Sepanjang bab ini, Anda telah melihat bagaimana model-model ini dapat diterapkan pada masalah dunia nyata:

- Menggunakan Hugging Face Hub untuk menemukan dan menggunakan model pralatih
- Memanfaatkan Inference API untuk menguji model langsung di browser Anda
- Memahami model mana yang paling cocok untuk tugas tertentu

##
Melihat ke depan

Sekarang Anda telah memiliki pemahaman yang kuat tentang apa itu model Transformer dan bagaimana cara kerjanya secara umum, Anda siap untuk mempelajari cara menggunakannya secara efektif. Dalam bab-bab berikutnya, Anda akan belajar cara:

- Menggunakan pustaka Transformers untuk memuat dan menyetel model
- Memproses berbagai jenis data sebagai input model
- Menyesuaikan model pralatih untuk tugas spesifik Anda
- Mendeploy model untuk aplikasi praktis

Dasar yang telah Anda bangun dalam bab ini akan sangat berguna saat Anda menjelajahi topik dan teknik yang lebih lanjut di bagian selanjutnya.

< > Update on GitHub