Mamba & Jamba mimarilerini Türkçe'ye uyarlayan açık kaynak araştırma ekibi.
130M'den 3B'ye — her ölçekte Türkçe dil modeli.
state-spaces/mamba-130m-hf üzerine Türkçe continued pretraining. ~400MB Türkçe metin, ~80-120M token ile eğitildi. Hafif ve hızlı — fine-tuning için ideal başlangıç noktası.
130M'nin büyük kardeşi. Embedding uyumsuzluk sorunu bu modelde çözüldü. Türkçe akıcılık ve gramer tarafı güçlü — mantıksal tutarlılık için dataset iyileştirmeleri devam ediyor.
Takımın amiral gemisi. SSM ve Attention katmanlarını birleştiriyor — hem uzun bağlam hem güçlü anlama. 3B parametre ile Türkçe'nin en büyük SSM tabanlı modeli. 1.8x daha hızlı inference.
İngilizce base modelleri Türkçe'ye uyarlama. Tokenizer optimizasyonu, dataset temizliği ve embedding düzeltmeleriyle kaliteli adaptasyon.
SSM + Attention birleşimi ile hem lineer inference hem güçlü reasoning. Jamba mimarisini Türkçe'ye ilk uyarlayan ekip.
Mevcut modeller ~400MB kazılmış Türkçe veri ile eğitildi. Yeni nesil modeller için GitHub üzerinden 300GB ham veri toplandı ve filtrelendi — MC4 ve OSCAR kaynaklarından tekrarsız birleştirilmiş ~67 milyon satırlık Türkçe veri seti hazırlandı.
Tüm modeller Apache 2.0 ile HuggingFace'de yayında. Fine-tuning rehberleri, bug raporları ve topluluk katkılarına açık.
* LinguAI modelleri Türkçe odaklı continued pretraining modelleridir. Türkçe performansı diğer modellere kıyasla avantajlıdır. Orijinal Mamba modelleri İngilizce base modellerdir.
Modellerimiz açık kaynak. Fine-tuning denemeleri, bug raporları ve dataset katkıları her zaman hoş karşılanır.
HuggingFace'e Git