BERT Din Kültürü Modeli (PyTorch)

Bu model, TensorFlow tabanlı bert_din_kulturu_6 modelinin PyTorch formatına dönüştürülmüş versiyonudur.

Model Performansı

Bu model, dbmdz/bert-base-turkish-cased modelinin bert_din_kulturu_6 verisiyle eğitilmiş halidir. Aşağıdaki sonuçları elde etmiştir:

  • Train Loss: 0.2283
  • Train Accuracy: 0.9475
  • Validation Loss: 0.1557
  • Validation Accuracy: 0.9614
  • Epochs: 11

Kullanım

Hugging Face transformers kütüphanesi ile kolayca kullanabilirsiniz:

from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("umutarpayy/bert_din_kulturu_6-pytorch")
model = AutoModelForSequenceClassification.from_pretrained("umutarpayy/bert_din_kulturu_6-pytorch")

Eğitim Verisi

Bu model, özel bir veri seti ile eğitilmiştir. Detaylar aşağıdadır:

Train Loss Train Accuracy Validation Loss Validation Accuracy Epoch
3.0220 0.2760 1.7334 0.5717 0
1.5144 0.5985 1.1455 0.6699 1
1.1069 0.6872 0.8943 0.7295 2
0.8911 0.7434 0.6902 0.7931 3
0.7160 0.7937 0.5481 0.8486 4
0.5892 0.8327 0.4402 0.8744 5
0.4838 0.8665 0.3478 0.9010 6
0.4034 0.8944 0.2653 0.9300 7
0.3421 0.9069 0.2125 0.9436 8
0.2890 0.9263 0.1814 0.9549 9
0.2487 0.9384 0.1629 0.9589 10
0.2283 0.9475 0.1557 0.9614 11

Eğitim Yöntemi ve Parametreler

  • Optimizer: Adam
  • Learning Rate: 2e-5 (Polynomial Decay)
  • Beta1: 0.9
  • Beta2: 0.999
  • Epsilon: 1e-8
  • Training Precision: float32

Framework Sürümleri

  • Transformers: 4.47.1
  • TensorFlow: 2.17.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Lisans

Bu model, MIT lisansına tabidir.

Downloads last month
2
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.