Jetbrains, Mellum2’yi Açık Kaynak Yayınladı: 12B Moe Model

JetBrains, yazılım mühendisliği görevlerine odaklanan yeni yapay zekâ modeli Mellum2’yi açık kaynak olarak yayınladı. Apache 2.0 lisansıyla sunulan model, 12 milyar toplam parametre ve token başına 2,5 milyar aktif parametreye sahip Mixture-of-Experts (MoE) mimarisiyle öne çıkıyor.

Mellum2; kod üretimi ve düzenleme, hata ayıklama, çok adımlı akıl yürütme, araç kullanımı, fonksiyon çağırma, ajan tabanlı kodlama ve sohbet destekli programlama için tasarlandı. JetBrains, modeli büyük yapay zekâ sistemlerinde hızlı ve uzmanlaşmış bir bileşen olarak konumlandırıyor.

Mellum2 hangi görevler için geliştirildi?

Model yalnızca metin ve kod işliyor; görüntü ve video girişi desteklemiyor. MoE yapısında 64 uzman bulunuyor ve her token için bunların 8’i etkinleştiriliyor. Böylece token başına hesaplama, 2,5B yoğun bir modele yakın tutulurken toplam kapasite artırılıyor.

Ön eğitim süreci yaklaşık 10,6 trilyon token üzerinde üç aşamalı bir müfredatla yürütüldü. Veri karışımı, genel web içeriğinden seçilmiş kod ve matematik verilerine doğru kademeli olarak değiştirildi. Eğitimde Muon optimizasyonu, FP8 hibrit hassasiyet ve Warmup-Hold-Decay öğrenme oranı planı kullanıldı.

128K bağlam penceresi ve yayımlanan kontrol noktaları

JetBrains, ön eğitim sonrası temel modelin bağlam penceresini katman-seçici YaRN yöntemiyle 128K token seviyesine çıkardı. Şirket ayrıca eğitim hattının tamamını kapsayan altı kontrol noktası yayımladı.

Bu sürümler arasında base pretrain, base, SFT ve RL-tuned varyantlar ile Instruct ve Thinking modelleri yer alıyor. Instruct sürümü doğrudan yanıt üretirken, Thinking sürümü final cevaptan önce açık bir akıl yürütme izi oluşturuyor.

JetBrains hangi kullanım senaryolarını öne çıkarıyor?

JetBrains, düşük gecikmeli görevlerde Instruct sürümünü; karmaşık hata ayıklama, çok adımlı planlama ve ajan iş akışlarında ise Thinking sürümünü öneriyor. Modelin öne çıktığı kullanım alanları arasında yönlendirme ve orkestrasyon, düşük gecikmeli RAG akışları, alt ajan görevleri ve özel yerel dağıtım bulunuyor.

Apache 2.0 lisansı sayesinde modelin kendi altyapısında çalıştırılması, ticari kullanım ve ince ayar yapılması mümkün oluyor. Mellum2, vLLM ile servis edilebiliyor; araç çağırma işlevi için hermes ayrıştırıcısının kullanılabildiği belirtiliyor.

Performans sonuçları ne gösteriyor?

JetBrains’in paylaştığı sonuçlara göre Mellum2 Instruct, EvalPlus’ta 78.4 ve BFCL v3’te 66.3 puan aldı. Buna karşılık LiveCodeBench v6, GPQA Diamond ve GSM-Plus gibi bazı ölçümlerde karşılaştırma grubundaki modellerin gerisinde kaldı.

Şirket, Mellum2’yi frontier seviyede genel amaçlı bir rakip olarak değil, verimlilik odaklı bir bileşen model olarak tanımlıyor. Model ağırlıkları Hugging Face üzerinde, teknik rapor ise arXiv’de erişime açıldı.