BERT Din Kültürü Modeli (PyTorch)
Bu model, TensorFlow tabanlı bert_din_kulturu_6
modelinin PyTorch formatına dönüştürülmüş versiyonudur.
Model Performansı
Bu model, dbmdz/bert-base-turkish-cased
modelinin bert_din_kulturu_6
verisiyle eğitilmiş halidir.
Aşağıdaki sonuçları elde etmiştir:
- Train Loss: 0.2283
- Train Accuracy: 0.9475
- Validation Loss: 0.1557
- Validation Accuracy: 0.9614
- Epochs: 11
Kullanım
Hugging Face transformers
kütüphanesi ile kolayca kullanabilirsiniz:
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("umutarpayy/bert_din_kulturu_6-pytorch")
model = AutoModelForSequenceClassification.from_pretrained("umutarpayy/bert_din_kulturu_6-pytorch")
Eğitim Verisi
Bu model, özel bir veri seti ile eğitilmiştir. Detaylar aşağıdadır:
Train Loss | Train Accuracy | Validation Loss | Validation Accuracy | Epoch |
---|---|---|---|---|
3.0220 | 0.2760 | 1.7334 | 0.5717 | 0 |
1.5144 | 0.5985 | 1.1455 | 0.6699 | 1 |
1.1069 | 0.6872 | 0.8943 | 0.7295 | 2 |
0.8911 | 0.7434 | 0.6902 | 0.7931 | 3 |
0.7160 | 0.7937 | 0.5481 | 0.8486 | 4 |
0.5892 | 0.8327 | 0.4402 | 0.8744 | 5 |
0.4838 | 0.8665 | 0.3478 | 0.9010 | 6 |
0.4034 | 0.8944 | 0.2653 | 0.9300 | 7 |
0.3421 | 0.9069 | 0.2125 | 0.9436 | 8 |
0.2890 | 0.9263 | 0.1814 | 0.9549 | 9 |
0.2487 | 0.9384 | 0.1629 | 0.9589 | 10 |
0.2283 | 0.9475 | 0.1557 | 0.9614 | 11 |
Eğitim Yöntemi ve Parametreler
- Optimizer: Adam
- Learning Rate: 2e-5 (Polynomial Decay)
- Beta1: 0.9
- Beta2: 0.999
- Epsilon: 1e-8
- Training Precision: float32
Framework Sürümleri
- Transformers: 4.47.1
- TensorFlow: 2.17.1
- Datasets: 3.2.0
- Tokenizers: 0.21.0
Lisans
Bu model, MIT lisansına tabidir.
- Downloads last month
- 2
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.