Fransız start-up şirketi Mistral AI’nin yakın zamanda piyasaya sürdüğü çok modlu modeli Mistral Medium 3, sektörde büyük bir ilgi uyandırdı. Mistral, modelin performansının Claude Sonnet 3.7’nin %90’ına denk veya onu aşabileceğini ve aynı zamanda DeepSeek V3’ten daha düşük maliyetli olduğunu iddia ediyor ve bunu uygun fiyatlı bir seçenek olarak nitelendiriyor. Ancak, gerçek test sonuçları resmi tanıtımla bazı farklılıklar gösteriyor ve modelin performansının doğruluğu hakkında tartışmalara yol açıyor.
Mistral Medium 3’ün Temel Özellikleri
Mistral, resmi blogunda Mistral Medium 3’ün birkaç temel özelliğini listeledi:
- Performans ve Maliyet Dengesi: Mistral Medium 3, en yüksek performansı elde ederken maliyetleri sekizde birine düşürmeyi ve dağıtım süreçlerini basitleştirerek kurumsal uygulamaları hızlandırmayı amaçlıyor.
- Profesyonel Uygulama Senaryolarında Üstün Performans: Model, kod yazma ve çok modlu anlama gibi profesyonel uygulama senaryolarında öne çıkıyor.
- Kurumsal Düzey Özellikler: Mistral Medium 3, hibrit bulut dağıtımı, yerel dağıtım ve VPC içinde dağıtım, özelleştirilmiş eğitim sonrası ve kurumsal araçlara ve sistemlere entegrasyon dahil olmak üzere bir dizi kurumsal düzey özellik sunar.
Mistral Medium 3 API’si artık Mistral La Plateforme ve Amazon Sagemaker’da kullanıma sunuldu ve yakında IBM WatsonX, NVIDIA NIM, Azure AI Foundry ve Google Cloud Vertex’e de gelecek.
Performans ve Maliyetin Dengelenmesi
Mistral Medium 3’ün en önemli satış noktalarından biri, son teknoloji performansı sunarken maliyetleri önemli ölçüde azaltmasıdır. Resmi verilere göre, çeşitli kıyaslama testlerinde, Mistral Medium 3’ün performansı Claude Sonnet 3.7’nin %90’ına ulaşıyor veya onu aşıyor, ancak maliyetler önemli ölçüde daha düşük (milyon token başına girdi maliyeti 0,4 ABD doları, çıktı maliyeti 2 ABD doları).
Ek olarak, Mistral Medium 3’ün performansı Llama 4 Maverick ve Cohere Command A gibi önde gelen açık kaynak modellerini de aşıyor. API veya bağımsız dağıtım olsun, Mistral Medium 3’ün maliyeti DeepSeek V3’ten daha düşüktür.
Mistral Medium 3 ayrıca dört veya daha fazla GPU’ya sahip kendi kendine barındırılan ortamlar dahil olmak üzere herhangi bir bulutta dağıtılabilir ve bu da şirketlere daha fazla esneklik sağlar.
Üstün Performans Arayışı
Mistral, Mistral Medium 3’ün özellikle kodlama ve STEM görevlerinde öne çıkan, performansı daha büyük, daha yavaş rakiplerine yaklaşan, en iyi performans gösteren bir model olmayı hedeflediğini iddia ediyor.
Mistral tarafından sağlanan tablo, Mistral Medium 3’ün performansının Llama 4 Maverick ve GPT-4o’yu temel olarak aştığını ve Claude Sonnet 3.7 ve DeepSeek 3.1 seviyelerine yaklaştığını gösteriyor. Ancak, bu veriler esas olarak akademik kıyaslama testlerinden elde edilmiştir ve modelin gerçek dünyadaki uygulamalardaki performansını tam olarak yansıtmayabilir.
İnsan Değerlendirmesinin Tamamlanması
Mistral, Mistral Medium 3’ün performansını daha kapsamlı bir şekilde değerlendirmek için üçüncü taraf insan değerlendirme sonuçlarını da yayınladı. İnsan değerlendirmesi, gerçek dünyadaki kullanım durumlarını daha iyi temsil eder ve akademik kıyaslama testlerinin eksikliklerini giderebilir.
İnsan değerlendirme sonuçlarına göre, Mistral Medium 3 kodlama alanında mükemmel bir performans sergiliyor ve her açıdan diğer rakiplerinden daha iyi performans sunuyor. Bu, Mistral Medium 3’ün gerçek dünyadaki uygulamalarda belirli avantajlara sahip olabileceğini gösteriyor.
Kurumsal Düzey Uygulamalar için Tasarım
Mistral Medium 3, kurumsal ortamlara uyum sağlama yeteneği açısından diğer SOTA modellerinden daha iyidir. Şirketler, API aracılığıyla ince ayar yapma veya sıfırdan kendi kendine dağıtım yapıp model davranışını özelleştirme gibi zorlu seçimlerle karşı karşıyayken, Mistral Medium 3, zekayı kurumsal sistemlere kapsamlı bir şekilde entegre etmenin bir yolunu sunar.
Mistral, kurumsal ihtiyaçları daha da karşılamak için, Mistral Medium 3 modeli tarafından desteklenen, işletmeler için bir sohbet robotu hizmeti olan Le Chat Enterprise’ı da piyasaya sürdü. Le Chat Enterprise, bir AI akıllı ajan oluşturma aracı sağlar ve Mistral’in modelini Gmail, Google Drive ve SharePoint gibi üçüncü taraf hizmetlerle entegre ederek, araç parçalanması, güvenli olmayan bilgi entegrasyonu, katı modeller ve yavaş yatırım getirisi gibi şirketlerin karşılaştığı AI zorluklarını çözmeyi ve tüm organizasyonel çalışmalar için birleşik bir AI platformu sağlamayı amaçlar.
Le Chat Enterprise yakında Anthropic tarafından önerilen ve yapay zekayı veri sistemlerine ve yazılımlara bağlayan bir standart olan MCP protokolünü destekleyecektir.
Mistral’in Gelecek Beklentileri
Mistral, blogda Mistral Small ve Mistral Medium’un yayınlanmış olmasına rağmen, önümüzdeki haftalarda “büyük” bir planları olduğunu, yani Mistral Large’ı duyurdu. Yeni yayınlanan Mistral Medium’un performansının zaten Llama 4 Maverick gibi en iyi açık kaynak modellerini çok aştığını, Mistral Large’ın performansının daha da beklentileri hak edeceğini belirttiler.
Mistral Large’ın piyasaya sürülmesi şüphesiz Mistral’in yapay zeka alanındaki rekabet gücünü daha da artıracak ve kullanıcılara daha fazla seçenek sunacaktır.
Gerçek Testlerdeki Farklılık
Mistral, Mistral Medium 3’ün performansına güvense ve Claude Sonnet 3.7’nin %90’ını aştığını iddia etse de, gerçek test sonuçları bazı sorunları ortaya çıkardı.
Medya ve netizenler hızla Mistral Medium 3 üzerinde gerçek testler yaptı, ancak sonuçlar hayal kırıklığı yarattı. New York Times’ın Connections sütununda kelime sınıflandırma sorularına dayanan bir değerlendirmede, Medium 3 son sırada yer aldı ve onu bulmak neredeyse imkansızdı. Yeni 100 soruluk bir testte, ön sıralardaki modeller arasında bile yer alamadı.
Bazı kullanıcılar Medium 3’ü test ettikten sonra, yazma becerilerinin hala aynı olduğunu ve belirgin bir gelişme olmadığını belirtti. Ancak, LLM değerlendirmesinde Pareto cephesinde yer alıyor.
Zhu Liang’ın test sonuçları, Mistral Medium 3’ün kod yazma ve metin oluşturma konusunda sağlam bir performans sergilediğini ve bu iki değerlendirmede de ilk beşe girdiğini gösteriyor.
Basit kodlama görevlerinde (Next.js TODO uygulaması):
- Özlü ve net yanıtlar oluşturdu
- Puanlama Gemini 2.5 Pro, Claude 3.5 Sonnet’e yakın
- DeepSeek V3 (yeni) ve GPT-4.1’den daha düşük
Karmaşık kodlama görevlerinde (kıyaslama testi görselleştirmesi):
- Gemini 2.5 Pro ve DeepSeek V3 (yeni) ile benzer ortalama sonuçlar üretti
- GPT-4.1, o3 ve Claude 3.7 Sonnet kadar iyi değil
Yazma konusunda:
- İçeriği çoğu önemli noktayı kapsadı, ancak biçimlendirme yanlıştı
- Puanlama DeepSeek V3 (yeni) ve Claude 3.7 Sonnet’e yakın
- GPT-4.1 ve Gemini 2.5 Pro kadar iyi değil
Tanınmış bir isim olan “karminski-diş hekimi”nin yaptığı gerçek testler, Mistral Medium 3’ün performansının resmi olarak lanse edildiği kadar güçlü olmadığını ve hatta kullanıcıların trafik ve sabit disk alanı israfını önlemek için indirmemelerini önerdi.
Sonuç
Mistral Medium 3, Avrupa yapay zeka alanında yenilikçi bir girişim olarak, performans ve maliyet arasında bir denge kurmaya çalışıyor ve kurumsal düzey uygulamalar için optimize edildi. Ancak, gerçek test sonuçları resmi tanıtımla bazı farklılıklar gösteriyor ve Mistral’in model performansı konusunda abartılı tanıtım yapmış olabileceğini gösteriyor.
Buna rağmen, Mistral Medium 3 hala özellikle kodlama ve metin oluşturma gibi alanlarda belirli bir potansiyele sahip. Gelecekte, Mistral’in model performansını daha da artırması ve kullanıcıların güvenini kazanmak için gerçek uygulama testlerini güçlendirmesi gerekiyor. Aynı zamanda, Mistral Large’ın piyasaya sürülmesi de beklentileri hak ediyor ve Mistral Medium 3’ün eksikliklerini telafi edebilir ve kullanıcılara daha iyi bir deneyim sunabilir.
Sonuç olarak, Mistral Medium 3’ün piyasaya sürülmesi, Avrupa’nın yapay zeka alanındaki aktif keşiflerini ve yenilikçi ruhunu yansıtıyor. Gerçek performans beklentilerden farklı olsa da, Mistral hala dikkate değer ve gelecekteki gelişimi beklentileri hak ediyor.