프랑스 인공지능 스타트업 Mistral AI가 최근 최신 멀티모달 모델 Mistral Medium 3를 발표하며, Anthropic의 Claude Sonnet 3.7에 근접하거나 능가하는 성능을 보여주면서도 중국 DeepSeek V3보다 저렴한 비용으로 제공한다고 주장했습니다. 이는 AI 업계에서 큰 반향을 일으켰으며, 많은 이들이 유럽 토종 AI 모델이 미국 기업의 AI 분야 독점 구도를 깨뜨릴 수 있을지 기대했습니다.
그러나 이상은 컸지만 현실은 달랐습니다. Mistral Medium 3 출시 후 많은 언론과 사용자들이 직접 테스트를 진행한 결과, 실망스러운 결과가 나타났습니다. 기대를 모았던 이 모델은 실제 응용 분야에서 공식적인 홍보만큼 뛰어난 성능을 보여주지 못했으며, 심지어 일부는 성능이 "실망스럽다"고 직설적으로 평가하며 사용자들에게 "시간과 자원을 낭비하지 말라"고 조언하기도 했습니다.
Mistral Medium 3: 홍보와 현실의 괴리
Mistral AI는 Mistral Medium 3를 발표하면서 여러 벤치마크 테스트에서 Claude Sonnet 3.7의 90% 이상 성능을 달성했으며, 코드 작성 및 멀티모달 이해와 같은 전문적인 응용 분야에서 뛰어난 성능을 발휘한다고 대대적으로 홍보했습니다. 또한, Mistral AI는 Mistral Medium 3의 비용 효율성을 강조하며, 백만 토큰당 입력 비용이 0.4달러, 출력 비용이 2달러로 DeepSeek V3보다 훨씬 저렴하다고 밝혔습니다.
그러나 실제 테스트 결과 Mistral Medium 3의 성능은 Claude Sonnet 3.7과 현저한 차이를 보였습니다. 일부 평가에서는 Mistral Medium 3가 일부 오픈 소스 모델보다도 못한 성능을 나타냈습니다. 예를 들어, 뉴욕 타임즈의 Connections 칼럼 어휘 분류 문제를 기반으로 한 평가에서 Mistral Medium 3는 최하위를 기록하며 존재감을 거의 드러내지 못했습니다.
더욱 실망스러운 점은 일부 사용자들이 Mistral Medium 3를 사용한 후, 작문 능력이 눈에 띄게 향상되지 않았으며 논리적 흐름이 불분명하거나 표현이 어색한 등 기존 문제들이 여전히 존재한다는 것을 발견했다는 것입니다. 게다가 Mistral Medium 3는 복잡한 작업을 처리할 때 어려움을 겪으며 만족스러운 답변을 제공하지 못했습니다.
Mistral Medium 3의 강점
Mistral Medium 3의 전체적인 성능은 실망스러웠지만, 긍정적인 부분도 있었습니다. 특정 분야에서 Mistral Medium 3는 여전히 강점을 보였습니다. 예를 들어, 코드 작성 측면에서 Mistral Medium 3는 비교적 안정적인 성능을 보여주며 간결하고 명확한 코드를 생성할 수 있었고, 간단한 코딩 작업에서는 뛰어난 성능을 발휘했습니다.
또한 Mistral Medium 3는 하이브리드 클라우드, 온프레미스 및 VPC 내부 배포, 맞춤형 후속 훈련, 기업 도구 및 시스템 통합 등과 같은 엔터프라이즈급 기능을 제공합니다. 이러한 기능을 통해 Mistral Medium 3는 기업의 실제 요구 사항을 보다 효과적으로 충족하고 더욱 유연하고 맞춤화된 AI 솔루션을 제공할 수 있습니다.
Mistral의 "큰" 계획: Mistral Large
Mistral Medium 3의 성능이 기대에 미치지 못했지만, Mistral AI는 이에 굴하지 않고 Mistral Large라는 더 강력한 모델을 개발 중이라고 밝혔습니다. Mistral AI는 Mistral Large의 성능이 Mistral Medium 3를 훨씬 능가하며, 현재 가장 진보된 AI 모델을 능가할 가능성도 있다고 주장했습니다.
Mistral AI의 이러한 움직임은 사람들에게 새로운 기대를 불러일으켰습니다. Mistral Large가 Mistral AI가 주장하는 성능 수준을 실제로 달성할 수 있다면 AI 분야의 새로운 스타가 되어 유럽의 AI 발전에 새로운 활력을 불어넣을 수 있을 것입니다.
엔터프라이즈급 챗봇 서비스: Le Chat Enterprise
Mistral AI는 Mistral Medium 3 및 Mistral Large 외에도 Le Chat Enterprise라는 엔터프라이즈급 챗봇 서비스를 출시했습니다. Mistral Medium 3 모델을 기반으로 하는 Le Chat Enterprise는 기업이 직면한 도구 파편화, 안전하지 않은 지식 통합, 경직된 모델, 느린 투자 수익률 등 AI 문제를 해결하기 위해 통합 AI 플랫폼을 제공하는 것을 목표로 합니다.
Le Chat Enterprise는 Mistral 모델을 Gmail, Google Drive 및 SharePoint와 같은 타사 서비스와 통합할 수 있는 AI 에이전트 구축 도구를 제공합니다. 또한 Le Chat Enterprise는 Anthropic이 제안한 AI와 데이터 시스템 및 소프트웨어를 연결하는 표준인 MCP 프로토콜을 지원할 예정입니다.
사용자 테스트: Mistral Medium 3 성능 미흡
Mistral AI가 Mistral Medium 3를 대대적으로 홍보했지만, 많은 사용자들이 직접 테스트한 결과 공식 홍보만큼 강력하지 않다는 사실을 발견했습니다. 일부 사용자들은 트래픽과 하드 드라이브 공간을 낭비하지 않도록 Mistral Medium 3를 다운로드하지 말라고 조언하기도 했습니다.
"karminski-치과의사"라는 사용자는 직접 테스트한 후 Mistral Medium 3의 성능이 "실망스럽다"고 평가하며 사용자들에게 "시간과 자원을 낭비하지 말라"고 조언했습니다. 또 다른 사용자는 Mistral Medium 3의 작문 능력이 "눈에 띄게 향상되지 않았다"며 기존 문제들이 여전히 존재한다고 밝혔습니다.
언론 평가: Mistral Medium 3, 엇갈린 평가
사용자들의 평가와 마찬가지로 언론의 Mistral Medium 3에 대한 평가도 엇갈린 양상을 보였습니다. 일부 언론은 Mistral Medium 3가 코드 작성 등 특정 분야에서 뛰어난 성능을 보인다고 평가했습니다. 그러나 다른 언론은 Mistral Medium 3의 전체적인 성능이 실망스럽고 Claude Sonnet 3.7과 현저한 차이가 있다고 평가했습니다.
예를 들어, The Verge는 리뷰 기사에서 Mistral Medium 3가 복잡한 작업을 처리할 때 어려움을 겪으며 만족스러운 답변을 제공하지 못한다고 지적했습니다. TechCrunch는 리뷰 기사에서 Mistral Medium 3의 작문 능력이 "눈에 띄게 향상되지 않았다"며 기존 문제들이 여전히 존재한다고 밝혔습니다.
Mistral Medium 3의 한계
종합적으로 볼 때 Mistral Medium 3의 한계는 주로 다음과 같은 측면에서 나타납니다.
- 성능 부족: Mistral Medium 3의 성능은 Claude Sonnet 3.7과 현저한 차이를 보여 성능 요구 사항이 높은 응용 분야에는 적합하지 않을 수 있습니다.
- 제한적인 작문 능력: Mistral Medium 3의 작문 능력은 눈에 띄게 향상되지 않았으며 논리적 흐름이 불분명하거나 표현이 어색한 등 기존 문제들이 여전히 존재합니다.
- 복잡한 작업 처리 능력 부족: Mistral Medium 3는 복잡한 작업을 처리할 때 어려움을 겪으며 만족스러운 답변을 제공하지 못합니다.
Mistral Medium 3의 잠재적 응용 분야
몇 가지 한계에도 불구하고 Mistral Medium 3는 여전히 다음과 같은 잠재적 응용 분야를 가지고 있습니다.
- 코드 작성: Mistral Medium 3는 코드 작성 측면에서 비교적 안정적인 성능을 보여 간결하고 명확한 코드를 생성하는 데 사용할 수 있습니다.
- 엔터프라이즈급 응용 분야: Mistral Medium 3는 하이브리드 클라우드, 온프레미스 및 VPC 내부 배포, 맞춤형 후속 훈련, 기업 도구 및 시스템 통합 등과 같은 엔터프라이즈급 기능을 제공하여 기업의 실제 요구 사항을 충족하는 데 사용할 수 있습니다.
- 챗봇: Mistral Medium 3는 챗봇을 구동하여 사용자에게 지능형 대화 서비스를 제공하는 데 사용할 수 있습니다.
Mistral Medium 3의 가격 책정 전략
Mistral AI는 Mistral Medium 3에 대해 낮은 가격 책정 전략을 채택하여 더 많은 사용자를 유치하고자 합니다. Mistral Medium 3의 백만 토큰당 입력 비용은 0.4달러, 출력 비용은 2달러로 DeepSeek V3보다 훨씬 저렴합니다.
낮은 가격 책정 전략은 Mistral Medium 3의 경쟁력을 높여 시장에서 일정 점유율을 확보하는 데 도움이 될 수 있습니다.
Mistral Medium 3의 배포 방식
Mistral Medium 3는 다음과 같은 다양한 배포 방식을 지원합니다.
- API: Mistral Medium 3 API는 Mistral La Plateforme 및 Amazon Sagemaker에서 사용할 수 있으며 곧 IBM WatsonX, NVIDIA NIM, Azure AI Foundry 및 Google Cloud Vertex에도 출시될 예정입니다.
- 자체 배포: Mistral Medium 3는 4개 이상의 GPU가 있는 자체 호스팅 환경을 포함하여 모든 클라우드에 배포할 수 있습니다.
다양한 배포 방식을 통해 Mistral Medium 3는 다양한 사용자의 요구 사항을 보다 효과적으로 충족하고 더욱 유연하고 편리한 배포 솔루션을 제공할 수 있습니다.
Mistral Medium 3: 유럽 AI의 희망?
Mistral Medium 3의 출시는 유럽 AI에 새로운 희망을 불어넣었습니다. 유럽 토종 AI 스타트업인 Mistral AI의 부상은 미국 기업의 AI 분야 독점 구도를 깨고 유럽의 AI 발전에 새로운 활력을 불어넣을 가능성이 있습니다.
그러나 Mistral Medium 3의 성능은 실망스러우며 Claude Sonnet 3.7과 현저한 차이를 보입니다. 이는 유럽 AI가 기술적으로 미국을 따라잡기 위해서는 끊임없이 노력해야 함을 시사합니다.
Mistral Large: 놀라움을 선사할 수 있을까?
Mistral Medium 3의 성능이 기대에 미치지 못했지만, Mistral AI는 이에 굴하지 않고 더 강력한 모델인 Mistral Large를 계속 개발하고 있습니다. Mistral Large가 놀라움을 선사하고 AI 분야의 새로운 스타가 될 수 있을지 지켜볼 필요가 있습니다.
결론
Mistral Medium 3의 출시는 AI 분야에서 광범위한 관심을 불러일으켰지만 실제 성능은 공식 홍보와 차이가 있었습니다. Mistral Medium 3는 특정 분야에서 강점을 보였지만 전반적인 성능은 개선해야 할 부분이 많습니다. Mistral AI의 미래 발전과 Mistral Large가 놀라움을 선사할 수 있을지는 계속해서 주목해야 할 부분입니다.
요약
Mistral Medium 3의 출시는 유럽 AI 발전의 중요한 이정표이지만, 그 성능은 유럽 AI가 기술적으로 끊임없이 노력해야 한다는 점을 상기시켜 줍니다. 우리는 Mistral Large가 놀라움을 선사하고 유럽 AI 발전에 새로운 활력을 불어넣기를 기대합니다.