Eva-9B

Bu model, Türkçe veri seti üzerinde ince ayar (fine-tuning) yapılmış bir Gemma2 modelidir. Model, metin üretimi ve diğer doğal dil işleme görevleri için optimize edilmiştir.

Model Detayları

• Model Türü: Gemma2 Causal Language Model
• Ağırlıklar: Gemma 9B temel alınarak ince ayar yapılmıştır.
• Eğitim Verisi: Özel bir Türkçe veri seti kullanılmıştır. (Wikipedia , çeşitli akademik araştırmalar ve içerikler)
• Amaç: Türkçe metin üretimi, kodlama desteği, siber güvenlik , sohbet botları, içerik oluşturma gibi görevler.
• Geliştirici: aydndglr

Teknik Özellikler

• Mimari: Gemma2ForCausalLM
• Gizli Boyut (hidden_size): 3584
• Katman Sayısı (num_hidden_layers): 42
• Dikkat Başlığı Sayısı (num_attention_heads): 16
• Anahtar-Değer Başlığı Sayısı (num_key_value_heads): 8
• Kelime Hazinesi Boyutu (vocab_size): 256000
• Maksimum Pozisyon Gömme (max_position_embeddings): 8192
• Kayar Pencere (sliding_window_size): 4096
• Ağırlık Tipi (torch_dtype): float16
• Aktivasyon Fonksiyonu (hidden_act): gelu_pytorch_tanh
• Dikkat Sapması (attention_bias): false
• Dikkat Dropout (attention_dropout): 0.0

Kullanım

Modeli transformers kütüphanesiyle yüklemek için:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "aydndglr/Eva-9B-Turkish"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="float16")

input_text = "Merhaba, nasılsın?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=100)
output_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(output_text)