Pytorch
TensorFlow

#
Fine-tuning, Selesai!

Itu tadi materi yang komprehensif! Dalam dua bab pertama, Anda telah mempelajari tentang model dan tokenizer, dan sekarang Anda sudah tahu cara melakukan fine-tuning pada data Anda sendiri menggunakan praktik terbaik modern. Sebagai rangkuman, di bab ini Anda telah:

- Mempelajari tentang dataset di Hub dan teknik pemrosesan data modern
- Belajar cara memuat dan memproses dataset secara efisien, termasuk menggunakan dynamic padding dan data collator
- Melakukan fine-tuning dan evaluasi menggunakan `Trainer` API tingkat tinggi dengan fitur terbaru
- Mengimplementasikan loop pelatihan kustom dari awal menggunakan PyTorch
- Menggunakan 🤗 Accelerate agar kode pelatihan Anda dapat berjalan mulus di banyak GPU atau TPU
- Menerapkan teknik optimasi modern seperti mixed precision training dan gradient accumulation

🎉 Selamat! Anda telah menguasai dasar-dasar fine-tuning model transformer. Anda sekarang siap untuk mengerjakan proyek ML dunia nyata!

📖 Lanjut Belajar: Jelajahi sumber berikut untuk memperdalam pemahaman Anda:

- Panduan tugas 🤗 Transformers untuk tugas-tugas NLP spesifik
- Contoh notebook 🤗 Transformers untuk referensi praktik yang lengkap

🚀 Langkah Selanjutnya:

- Coba lakukan fine-tuning pada dataset Anda sendiri dengan teknik yang sudah Anda pelajari
- Bereksperimen dengan berbagai arsitektur model yang tersedia di Hugging Face Hub
- Bergabunglah dengan komunitas Hugging Face untuk berbagi proyek dan mendapatkan bantuan

Ini baru permulaan perjalanan Anda bersama 🤗 Transformers. Di bab selanjutnya, kita akan mempelajari cara membagikan model dan tokenizer Anda ke komunitas serta berkontribusi pada ekosistem model pralatih yang terus berkembang.

Kemampuan yang Anda kembangkan di sini – pra-pemrosesan data, konfigurasi pelatihan, evaluasi, dan optimasi – merupakan fondasi dari setiap proyek machine learning. Apakah Anda sedang mengerjakan klasifikasi teks, named entity recognition, question answering, atau tugas NLP lainnya, teknik-teknik ini akan sangat berguna.

💡 Tips Profesional untuk Sukses:

- Selalu mulai dengan baseline yang kuat menggunakan `Trainer` API sebelum membuat loop pelatihan kustom
- Gunakan 🤗 Hub untuk menemukan model pralatih yang paling mendekati tugas Anda agar hasil awal lebih baik
- Pantau pelatihan Anda dengan metrik evaluasi yang tepat dan jangan lupa menyimpan checkpoint
- Manfaatkan komunitas – bagikan model dan dataset Anda untuk membantu orang lain dan dapatkan umpan balik

< > Update on GitHub