Frankrijk’s AI-startup Mistral AI heeft onlangs zijn nieuwste multimodale model, Mistral Medium 3, uitgebracht, bewerend dat de prestaties dicht bij of zelfs beter zijn dan die van Anthropic’s Claude Sonnet 3.7, terwijl de kosten lager zijn dan die van China’s DeepSeek V3. Dit nieuws heeft ongetwijfeld de AI-gemeenschap in beroering gebracht, waarbij velen uitkijken naar dit Europese AI-model om het monopolie van Amerikaanse bedrijven in de AI-sector te doorbreken.
De idealen zijn echter mooi, maar de realiteit is hard. Na de release van Mistral Medium 3 hebben veel media en internetgebruikers het op de proef gesteld, met ontstellende resultaten. Het veelbelovende model presteerde in de praktijk lang niet zo goed als geadverteerd door de fabrikant, en sommigen zeiden ronduit dat de prestaties "teleurstellend" waren en adviseerden gebruikers om "geen tijd en middelen te verspillen aan het downloaden ervan".
Mistral Medium 3: Het gat tussen promotie en realiteit
Mistral AI prees de prestaties van Mistral Medium 3 bij de release en beweerde dat het in verschillende benchmarks meer dan 90% van de Claude Sonnet 3.7 bereikte, en uitstekende prestaties leverde in professionele toepassingsscenario’s zoals het schrijven van code en multimodaal begrip. Bovendien benadrukte Mistral AI de kostenvoordelen van Mistral Medium 3, en zei dat de inputkosten slechts $0,4 per miljoen tokens bedroegen en de outputkosten $2, wat veel lager is dan DeepSeek V3.
Uit praktijktesten bleek echter dat er een duidelijk verschil is tussen de prestaties van Mistral Medium 3 en Claude Sonnet 3.7. In sommige tests presteerde Mistral Medium 3 zelfs slechter dan sommige open-source modellen. Zo stond Mistral Medium 3 onderaan de lijst in een evaluatie op basis van de woordcategorisatievragen van de kolom Connections van de New York Times, en was hij nauwelijks te vinden.
Nog teleurstellender was dat sommige gebruikers na gebruik van Mistral Medium 3 ontdekten dat de schrijfvaardigheid niet significant was verbeterd en dat er nog steeds veel voorkomende problemen waren, zoals onduidelijke logica en een gebrekkige uitdrukking. Bovendien was Mistral Medium 3 overweldigd bij het omgaan met complexe taken, en kon hij geen bevredigende antwoorden geven.
De hoogtepunten van Mistral Medium 3
Hoewel de algehele prestaties van Mistral Medium 3 teleurstellend zijn, is het niet allemaal kommer en kwel. In sommige specifieke gebieden vertoont Mistral Medium 3 nog steeds bepaalde voordelen. Op het gebied van code schrijven zijn de prestaties van Mistral Medium 3 bijvoorbeeld relatief stabiel, kan hij beknopte code genereren en presteert hij uitstekend bij eenvoudige codeertaken.
Bovendien heeft Mistral Medium 3 een aantal functies op bedrijfsniveau, zoals ondersteuning voor hybride cloud implementatie, on-premises implementatie en implementatie binnen VPC’s, aangepaste post-training, integratie met bedrijfstools en systemen. Deze functies stellen Mistral Medium 3 in staat om beter te voldoen aan de werkelijke behoeften van ondernemingen en flexibelere en aanpasbare AI-oplossingen te bieden.
Mistral’s "grote" plan: Mistral Large
Hoewel Mistral Medium 3 niet zo goed presteert als verwacht, heeft Mistral AI de moed niet verloren. Bij de release van Mistral Medium 3 onthulde Mistral AI ook dat het een krachtiger model ontwikkelt genaamd Mistral Large, en beweert dat de prestaties van Mistral Large veel beter zullen zijn dan die van Mistral Medium 3, en zelfs de meest geavanceerde AI-modellen van dit moment kunnen overtreffen.
Deze stap van Mistral AI heeft ongetwijfeld nieuwe verwachtingen gewekt. Als Mistral Large daadwerkelijk het prestatieniveau kan bereiken dat Mistral AI beweert, dan zal het waarschijnlijk een nieuwe ster in het AI-veld worden en nieuwe vitaliteit injecteren in de ontwikkeling van Europa in het AI-veld.
Enterprise-level chatbot service: Le Chat Enterprise
Naast Mistral Medium 3 en Mistral Large heeft Mistral AI ook een enterprise-level chatbot service gelanceerd genaamd Le Chat Enterprise. Le Chat Enterprise wordt aangedreven door het Mistral Medium 3-model en is ontworpen om bedrijven een uniform AI-platform te bieden om de AI-uitdagingen van bedrijven aan te pakken, zoals tools fragmentatie, onveilige kennisintegratie, rigide modellen en trage ROI.
Le Chat Enterprise biedt een AI-agent build tool die Mistral modellen kan integreren met services van derden zoals Gmail, Google Drive en SharePoint. Bovendien zal Le Chat Enterprise het MCP-protocol ondersteunen, de standaard die door Anthropic is voorgesteld voor het verbinden van AI met datasystemen en software.
Gebruikerstesten: Mistral Medium 3 presteert slecht
Hoewel Mistral AI Mistral Medium 3 krachtig heeft gepromoot, hebben veel gebruikers na praktijktesten ontdekt dat de prestaties niet zo krachtig zijn als de fabrikant beweert. Sommige gebruikers hebben zelfs aanbevolen om Mistral Medium 3 niet te downloaden om te voorkomen dat verkeer en harde schijfruimte worden verspild.
Een gebruiker genaamd "karminski-tandarts" zei na het testen dat de prestaties van Mistral Medium 3 "teleurstellend" waren en adviseerde gebruikers om "geen tijd en middelen te verspillen aan het downloaden ervan". Een andere gebruiker zei dat de schrijfvaardigheid van Mistral Medium 3 "geen significante verbetering" liet zien en dat er nog steeds veel voorkomende problemen zijn.
Media beoordelingen: Mistral Medium 3 is gemengd
Net als de opmerkingen van gebruikers, zijn de beoordelingen van de media over Mistral Medium 3 ook gemengd. Sommige media zijn van mening dat Mistral Medium 3 uitstekend presteert in bepaalde specifieke gebieden, zoals het schrijven van code. Andere media zijn echter van mening dat de algehele prestaties van Mistral Medium 3 teleurstellend zijn en dat er een duidelijk verschil is met Claude Sonnet 3.7.
The Verge wees er bijvoorbeeld in een recensie op dat Mistral Medium 3 overweldigd is bij het omgaan met complexe taken en geen bevredigende antwoorden kan geven. TechCrunch zei in een recensie dat de schrijfvaardigheid van Mistral Medium 3 "geen significante verbetering" liet zien en dat er nog steeds veel voorkomende problemen zijn.
De beperkingen van Mistral Medium 3
Over het algemeen komen de beperkingen van Mistral Medium 3 voornamelijk tot uiting in de volgende aspecten:
- Onvoldoende prestaties: Er is een duidelijk verschil tussen de prestaties van Mistral Medium 3 en Claude Sonnet 3.7, waardoor het moeilijk is om te voldoen aan sommige toepassingsscenario’s met hoge eisen aan de prestaties.
- Beperkte schrijfvaardigheid: De schrijfvaardigheid van Mistral Medium 3 is niet significant verbeterd, en er zijn nog steeds veel voorkomende problemen, zoals onduidelijke logica en een gebrekkige uitdrukking.
- Onvoldoende capaciteit om complexe taken te verwerken: Mistral Medium 3 is overweldigd bij het omgaan met complexe taken en kan geen bevredigende antwoorden geven.
Mogelijke toepassingsscenario’s van Mistral Medium 3
Ondanks enkele beperkingen heeft Mistral Medium 3 nog steeds een aantal potentiële toepassingsscenario’s, zoals:
- Code schrijven: Mistral Medium 3 presteert relatief stabiel bij het schrijven van code en kan worden gebruikt om beknopte code te genereren.
- Toepassingen op bedrijfsniveau: Mistral Medium 3 heeft een aantal functies op bedrijfsniveau, zoals ondersteuning voor hybride cloud implementatie, on-premises implementatie en implementatie binnen VPC’s, aangepaste post-training, integratie met bedrijfstools en systemen, en kan worden gebruikt om te voldoen aan de werkelijke behoeften van ondernemingen.
- Chatbots: Mistral Medium 3 kan worden gebruikt om chatbots aan te drijven en gebruikers intelligente dialoogdiensten te bieden.
De prijsstrategie van Mistral Medium 3
Mistral AI heeft een lagere prijsstrategie aangenomen voor Mistral Medium 3, gericht op het aantrekken van meer gebruikers. De inputkosten van Mistral Medium 3 bedragen slechts $0,4 per miljoen tokens en de outputkosten $2, wat veel lager is dan DeepSeek V3.
De lagere prijsstrategie maakt Mistral Medium 3 concurrerender en zal naar verwachting een bepaald aandeel in de markt verwerven.
De implementatiemethode van Mistral Medium 3
Mistral Medium 3 ondersteunt verschillende implementatiemethoden, waaronder:
- API: De Mistral Medium 3 API is gelanceerd op Mistral La Plateforme en Amazon Sagemaker, en zal binnenkort beschikbaar zijn op IBM WatsonX, NVIDIA NIM, Azure AI Foundry en Google Cloud Vertex.
- Autonome implementatie: Mistral Medium 3 kan worden geïmplementeerd op elke cloud, inclusief zelf-gehoste omgevingen met vier of meer GPU’s.
De verschillende implementatiemethoden stellen Mistral Medium 3 in staat om beter te voldoen aan de behoeften van verschillende gebruikers en gebruikers flexibelere en gemakkelijkere implementatieoplossingen te bieden.
Mistral Medium 3: De hoop van Europese AI?
De release van Mistral Medium 3 heeft ongetwijfeld nieuwe hoop gebracht voor Europese AI. Als een Europees AI-startup bedrijf zal de opkomst van Mistral AI naar verwachting het monopolie van Amerikaanse bedrijven in het AI-veld doorbreken en nieuwe vitaliteit injecteren in de ontwikkeling van Europa in het AI-veld.
De prestaties van Mistral Medium 3 zijn echter teleurstellend en er is een duidelijk verschil met Claude Sonnet 3.7. Dit laat zien dat Europese AI nog steeds hard moet werken aan de technologie om echt de toonaangevende positie van de Verenigde Staten in te halen.
Mistral Large: Kan het verrassingen brengen?
Hoewel Mistral Medium 3 niet zo goed presteert als verwacht, heeft Mistral AI de moed niet verloren en blijft het krachtiger model Mistral Large ontwikkelen. Het valt nog te bezien of Mistral Large verrassingen kan brengen en een nieuwe ster kan worden in het AI-veld.
Conclusie
De release van Mistral Medium 3 heeft brede aandacht getrokken in het AI-veld, maar de werkelijke prestaties verschillen van de officiële reclame. Hoewel Mistral Medium 3 bepaalde voordelen heeft laten zien in specifieke gebieden, moeten de algehele prestaties nog worden verbeterd. De toekomstige ontwikkeling van Mistral AI en of Mistral Large verrassingen kan brengen, zullen het middelpunt van de aandacht zijn.
Samenvatting
De release van Mistral Medium 3 is een belangrijke mijlpaal in de ontwikkeling van Europese AI, maar de prestaties herinneren ons er ook aan dat Europese AI nog steeds hard moet werken aan de technologie. We kijken ernaar uit dat Mistral Large verrassingen kan brengen en nieuwe vitaliteit kan injecteren in de ontwikkeling van Europese AI.