إعلانات ميسترال ميديوم 3 الرسمية
أكدت شركة Mistral AI الفرنسية الناشئة في مدونتها الرسمية على عدة نقاط رئيسية حول Mistral Medium 3:
- موازنة الأداء والتكلفة: يهدف Mistral Medium 3 إلى تقديم أداء عالٍ مع تقليل التكلفة إلى الثُمن، مما يسرع التطبيقات المؤسسية.
- مزايا في سيناريوهات التطبيقات الاحترافية: يتفوق النموذج في مجالات متخصصة مثل كتابة التعليمات البرمجية وفهم الوسائط المتعددة.
- ميزات على مستوى المؤسسات: يوفر Mistral Medium 3 مجموعة من الميزات على مستوى المؤسسات، بما في ذلك دعم النشر السحابي المختلط والنشر المحلي والنشر داخل VPC، بالإضافة إلى التدريب اللاحق المخصص والتكامل مع أدوات وأنظمة المؤسسات.
تم إطلاق Mistral Medium 3 API بالفعل على Mistral La Plateforme و Amazon Sagemaker، ومن المقرر إطلاقه قريبًا على IBM WatsonX و NVIDIA NIM و Azure AI Foundry و Google Cloud Vertex.
مقارنة مؤشرات الأداء
أعلنت ميسترال أن أداء Mistral Medium 3 في مختلف اختبارات الأداء القياسية يضاهي أو يتجاوز 90٪ من أداء Claude Sonnet 3.7، ولكن بتكلفة أقل بكثير. على وجه التحديد، تبلغ تكلفة إدخال Mistral Medium 3 لكل مليون رمز 0.4 دولارًا أمريكيًا، وتكلفة الإخراج 2 دولارًا أمريكيًا.
بالإضافة إلى ذلك، يُزعم أن أداء Mistral Medium 3 يتجاوز النماذج مفتوحة المصدر الرائدة مثل Llama 4 Maverick و Cohere Command A. سواء من خلال API أو النشر الذاتي، فإن تكلفة Mistral Medium 3 أقل من DeepSeek V3. يمكن أيضًا نشر النموذج على أي سحابة، بما في ذلك بيئات الاستضافة الذاتية التي تحتوي على أربعة وحدات معالجة رسومات أو أكثر.
التركيز على تطبيقات المؤسسات
تؤكد Mistral AI أن هدف Mistral Medium 3 هو أن يصبح نموذجًا عالي الأداء، خاصةً في مهام الترميز و STEM، حيث يقترب الأداء من المنافسين الأكبر حجمًا والأبطأ.
تظهر البيانات الرسمية أن أداء Mistral Medium 3 يتجاوز بشكل أساسي Llama 4 Maverick و GPT-4o، ويقترب من مستويات Claude Sonnet 3.7 و DeepSeek 3.1.
للتحقق من أداء النموذج بشكل أكبر، نشرت Mistral AI أيضًا نتائج تقييمات بشرية من طرف ثالث، وهي أكثر تمثيلاً لحالات الاستخدام الواقعية. أظهرت النتائج أن Mistral Medium 3 يتفوق في مجال الترميز ويوفر أداءً أفضل من المنافسين الآخرين في جميع الجوانب.
يتفوق Mistral Medium 3 أيضًا على نماذج SOTA الأخرى في قدرته على التكيف مع بيئات المؤسسات. فهو يوفر للمؤسسات طريقًا لدمج الذكاء بشكل كامل في أنظمة المؤسسات، وحل المشكلات التي تواجهها المؤسسات في ضبط API وتخصيص النماذج.
Le Chat Enterprise
أطلقت Mistral AI أيضًا Le Chat Enterprise، وهي خدمة روبوت محادثة للمؤسسات مدعومة بنموذج Mistral Medium 3. فهو يوفر أداة لإنشاء وكيل ذكاء اصطناعي ويدمج نماذج Mistral مع خدمات الطرف الثالث مثل Gmail و Google Drive و SharePoint.
يهدف Le Chat Enterprise إلى حل تحديات الذكاء الاصطناعي التي تواجهها المؤسسات، مثل تجزئة الأدوات وتكامل المعرفة غير الآمنة والنماذج الجامدة وبطء العائد على الاستثمار، مما يوفر منصة ذكاء اصطناعي موحدة لجميع أعمال المؤسسات.
سيدعم Le Chat Enterprise قريبًا بروتوكول MCP، وهو معيار اقترحته Anthropic لتوصيل الذكاء الاصطناعي بأنظمة البيانات والبرامج.
توقعات ميسترال الكبيرة
كشفت Mistral AI أيضًا في مدونتها أنه على الرغم من إصدار Mistral Small و Mistral Medium، إلا أن لديهم خطة “كبيرة” في الأسابيع القليلة المقبلة، وهي Mistral Large. لقد ذكروا أن أداء Mistral Medium الذي تم إصداره حديثًا يتفوق بالفعل على النماذج مفتوحة المصدر الرائدة مثل Llama 4 Maverick، وأن أداء Mistral Large يستحق المزيد من الترقب.
الواقع الفعلي لاختبار المستخدم
ومع ذلك، بعد أن أعلنت Mistral AI عن الأداء القوي لـ Mistral Medium 3، سرعان ما أجرت وسائل الإعلام والمستخدمون اختبارات فعلية، وكانت النتائج مخيبة للآمال.
التناقض في اختبار الأداء
في تقييم يعتمد على اختبارات تصنيف المفردات في عمود Connections في صحيفة نيويورك تايمز، كان أداء Mistral Medium 3 مخيبًا للآمال، ولم يتم العثور عليه تقريبًا. في تقييم جديد مكون من 100 سؤال، لم يكن من بين أفضل النماذج.
بعد بعض اختبارات المستخدمين، لم يكن هناك تحسن واضح في قدرة الكتابة في Mistral Medium 3. ومع ذلك، في تقييم LLM، كان في طليعة باريتو.
وجد اختبار Zhu Liang أن أداء Mistral Medium 3 كان قويًا في كتابة التعليمات البرمجية وتوليد النصوص، حيث احتل المرتبة الخمسة الأولى في كلا التقييمين.
أداء مهام الترميز
في مهمة ترميز بسيطة (تطبيق Next.js TODO)، أنتج Mistral Medium 3 ردودًا موجزة وواضحة، مع درجات مماثلة لـ Gemini 2.5 Pro و Claude 3.5 Sonnet، ولكنها أقل من DeepSeek V3 (جديد) و GPT-4.1.
في مهمة ترميز معقدة (تصور اختبار الأداء)، أنتج Mistral Medium 3 نتائج متوسطة مماثلة لـ Gemini 2.5 Pro و DeepSeek V3 (جديد)، ولكنها أقل من GPT-4.1 و o3 و Claude 3.7 Sonnet.
تقييم القدرة على الكتابة
فيما يتعلق بالكتابة، غطى Mistral Medium 3 معظم النقاط الرئيسية، ولكن التنسيق كان غير صحيح، وكانت الدرجات قريبة من DeepSeek V3 (جديد) و Claude 3.7 Sonnet، وأقل من GPT-4.1 و Gemini 2.5 Pro.
كما ذكرت شخصية مشهورة باسم “karminski-牙医” بعد الاختبار الفعلي أن أداء Mistral Medium 3 ليس قويًا كما تفاخرت به الشركة رسميًا، ونصحت المستخدمين بعدم تنزيله لتجنب إضاعة حركة المرور ومساحة القرص.
المقارنة والتأمل
تذكرنا حالة Mistral Medium 3 مرة أخرى بأنه عند تقييم أداء نماذج الذكاء الاصطناعي، لا يمكننا الاعتماد فقط على الإعلانات الرسمية ونتائج اختبار الأداء القياسي، ولكن يجب علينا إيلاء المزيد من الاهتمام لتجربة المستخدم الفعلية وتقييم الطرف الثالث.
غالبًا ما تعرض الإعلانات الرسمية مزايا النموذج بشكل انتقائي وتتجاهل أوجه القصور فيه. على الرغم من أن اختبارات الأداء القياسي يمكن أن توفر قيمة مرجعية معينة، إلا أنها لا يمكن أن تعكس تمامًا أداء النموذج في العالم الحقيقي. تجربة المستخدم الفعلية وتقييم الطرف الثالث أكثر موضوعية وشمولية، ويمكن أن تساعدنا في فهم مزايا وعيوب النموذج بشكل أكثر دقة.
بالإضافة إلى ذلك، يتأثر أداء نماذج الذكاء الاصطناعي أيضًا بعوامل مختلفة، بما في ذلك بيانات التدريب وبنية النموذج وخوارزميات التحسين وما إلى ذلك. قد تُظهر النماذج المختلفة مزايا وعيوب مختلفة في مهام مختلفة. لذلك، عند اختيار نموذج الذكاء الاصطناعي، من الضروري إجراء تقييم شامل بناءً على سيناريوهات وتلبية الاحتياجات المحددة للتطبيق.
أثار التباين الكبير بين إصدار Mistral Medium 3 ونتائج اختبار المستخدم أيضًا مناقشة حول معايير تقييم نموذج الذكاء الاصطناعي. كيفية إنشاء نظام تقييم نموذج الذكاء الاصطناعي أكثر علمية وموضوعية وشمولية هو سؤال يستحق الاستكشاف المتعمق.
تأثير الصناعة
كان لحادثة Mistral Medium 3 أيضًا تأثير معين على صناعة الذكاء الاصطناعي بأكملها. من ناحية، فإنه يذكر شركات الذكاء الاصطناعي بإيلاء المزيد من الاهتمام لتجربة المستخدم وتجنب الإعلانات المفرطة والمضللة. من ناحية أخرى، فإنه يشجع أيضًا الممارسين في مجال الذكاء الاصطناعي على إيلاء المزيد من الاهتمام لصياغة وتحسين معايير تقييم نموذج الذكاء الاصطناعي.
في المستقبل، مع التطور المستمر لتقنية الذكاء الاصطناعي، سيستمر أداء نماذج الذكاء الاصطناعي في التحسن وسيستمر توسيع سيناريوهات التطبيقات. نحتاج إلى التعامل مع تقنية الذكاء الاصطناعي بموقف أكثر عقلانية وموضوعية، ورؤية إمكاناتها الهائلة والاعتراف بحدودها. بهذه الطريقة فقط يمكننا الاستفادة بشكل أفضل من تقنية الذكاء الاصطناعي لخلق قيمة للمجتمع البشري.
باختصار، تعد حالة Mistral Medium 3 بمثابة تحذير، وتذكرنا بالحفاظ على تفكير نقدي عند تقييم نماذج الذكاء الاصطناعي، وعدم تصديق الإعلانات الرسمية بشكل أعمى، ولكن الجمع بين الخبرة العملية وتقييم الطرف الثالث لاتخاذ أحكام عقلانية.