LM Studio를 통한 AI 잠재력 극대화
Ryzen AI Max+ 395는 까다로운 소비자 AI 워크로드에서 진가를 발휘하며, llama.cpp 기반 애플리케이션인 LM Studio에서 탁월한 성능을 보여줍니다. 클라이언트 측 LLM(Large Language Model) 운영을 위한 플랫폼으로 부상하고 있는 LM Studio는 사용자가 전문적인 기술 지식 없이도 최신 언어 모델을 로컬에서 실행할 수 있도록 지원합니다. 이러한 사용 편의성 덕분에 새로운 AI 텍스트 및 비전 모델을 즉시 배포하는 것이 매우 간단해졌습니다.
AMD Ryzen AI MAX+ 시리즈 프로세서를 탑재한 ‘Strix Halo’ 플랫폼은 LM Studio 환경에서 AMD의 성능 리더십을 크게 확장합니다.
이 세그먼트의 많은 경쟁 프로세서는 32GB 온패키지 메모리로 제한됩니다. 이 용량은 일반적으로 약 16GB 크기의 대규모 언어 모델을 실행하는 데 충분하지만, Ryzen AI MAX+ 395는 이러한 제한을 뛰어넘어 더 크고 복잡한 모델을 처리하는 데 상당한 이점을 제공합니다.
벤치마킹 우위: 텍스트 및 비전 언어 모델
LM Studio 내에서 엄격한 벤치마킹을 통해 AMD Ryzen AI MAX+ 395의 강력한 성능이 입증되었습니다. ASUS ROG Flow Z13과 같은 장치와 함께 사용할 경우, 이 프로세서는 Intel Arc 140V보다 최대 2.2배 높은 토큰 처리량을 달성합니다. 이러한 놀라운 성능 향상은 단일 사례가 아니며, 다양한 모델 유형과 매개변수 크기에서 놀랍도록 일관되게 유지됩니다.
첫 번째 토큰까지의 시간(time-to-first-token)이라는 중요한 지표에서 AMD Ryzen AI MAX+ 395 프로세서는 더욱 인상적인 성능 향상을 보여줍니다. Llama 3.2 3b Instruct와 같은 소규모 모델로 작업할 때 경쟁 제품보다 최대 4배 빠른 속도를 달성합니다.
더 큰 모델에서는 성능 이점이 극적으로 증가합니다. DeepSeek R1 Distill Qwen 7b 및 DeepSeek R1 Distill Llama 8b와 같은 70억 및 80억 매개변수 모델을 처리할 때 Ryzen AI Max+ 395는 무려 9.1배 더 빠른 속도를 제공합니다. 그리고 140억 매개변수 모델을 사용하는 경우, Ryzen AI Max+ 395로 구동되는 ASUS ROG Flow Z13은 Intel Core Ultra 258V가 장착된 노트북보다 12.2배 더 빠른 성능을 달성합니다. 이는 한 자릿수 이상의 차이입니다!
상관 관계는 분명합니다. LLM이 클수록 사용자 쿼리에 응답하는 AMD Ryzen AI Max+ 395 프로세서의 속도 이점이 더 두드러집니다. 모델과 대화형 대화를 하든, 수천 개의 토큰이 포함된 복잡한 요약 작업을 할당하든, AMD 기반 시스템은 훨씬 더 빠른 응답 시간을 제공합니다. 이러한 이점은 프롬프트 길이에 비례하여 확장됩니다. 즉, 작업이 까다로울수록 성능 이점이 더 커집니다.
멀티모달 AI 수용: 비전 기능
AI의 발전은 텍스트 전용 LLM을 넘어 빠르게 진행되고 있습니다. 비전 어댑터와 시각적 추론 기능을 통합한 고성능 멀티모달 모델이 점점 더 많이 등장하고 있습니다. IBM Granite Vision과 최근 출시된 Google Gemma 3 모델 제품군은 모두 차세대 AMD AI PC와 완벽하게 통합되는 고급 비전 기능을 제공하는 대표적인 예입니다. 이러한 모델은 AMD Ryzen AI MAX+ 395 프로세서로 구동되는 시스템에서 탁월한 성능을 보여줍니다.
비전 모델의 맥락에서 첫 번째 토큰까지의 시간(time-to-first-token) 메트릭은 모델이 제공된 이미지를 분석하는 데 필요한 시간을 효과적으로 나타냅니다.
여기에서도 Ryzen AI Max+ 395 프로세서는 압도적인 리더십을 보여줍니다. IBM Granite Vision 3.2 3b에서는 최대 7배, Google Gemma 3 4b에서는 최대 4.6배, Google Gemma 3 12b에서는 최대 6배 더 빠릅니다. 64GB 메모리 옵션을 갖춘 ASUS ROG Flow Z13은 현재 최첨단(SOTA) 비전 모델로 인정받는 Google Gemma 3 27B Vision 모델도 손쉽게 처리할 수 있습니다.
또 다른 흥미로운 데모는 6비트 정밀도로 DeepSeek R1 Distill Qwen 32b를 실행하는 것입니다. 이 구성을 통해 사용자는 약 5분이라는 매우 짧은 시간 안에 고전 게임을 코딩할 수 있습니다.
LLM 성능 최적화를 위한 설정
AMD Ryzen AI MAX+ 395 프로세서의 잠재력을 LLM 워크로드에 최대한 활용하려면 시스템에서 최신 AMD Software: Adrenalin Edition 드라이버를 실행하고 있는지 확인해야 합니다. AMD Ryzen AI 300 시리즈 프로세서로 구동되는 AMD 노트북에는 VGM(Variable Graphics Memory)이 탑재되어 있습니다. AMD는 토큰 처리량을 개선하고 더 큰 모델의 실행을 용이하게 하기 위해 모든 LLM 워크로드에 VGM을 활성화할 것을 강력히 권장합니다. 최적의 성능을 위해서는 ‘높음’ VGM 설정을 권장합니다. VGM 옵션은 AMD Software: Adrenalin Edition 내의 성능 > 튜닝 탭에서 액세스할 수 있습니다.
LLM을 실행할 때는 ‘수동으로 매개변수 선택’ 옵션을 선택하고 GPU 오프로드 설정을 ‘MAX’로 설정하는 것도 중요합니다. AMD는 일상적인 사용에는 Q4 K M 양자화를 사용하고 코딩 작업에는 Q6 또는 Q8 양자화를 사용할 것을 권장합니다.
이동 중 AI의 미래
AMD Ryzen AI MAX+ 395 프로세서로 구동되는 노트북에서 로컬로 AI를 경험하는 것은 파워 유저에게 얇고 가벼운 폼 팩터의 휴대성과 다용성을 유지하면서 최첨단 AI 모델을 사용할 수 있는 특별한 기회를 제공합니다. 이러한 성능과 휴대성의 조합은 이러한 장치를 게임과 생산성 모두에 이상적이며, 모바일 컴퓨팅의 새로운 표준을 제시합니다. Ryzen AI MAX +395는 단순한 프로세서가 아니라, 즉시 사용 가능하고 탁월한 이동성을 갖춘 새로운 AI 기반 경험의 시대로 가는 관문입니다. 복잡한 작업을 쉽게 수행할 수 있도록 하며 사용자가 기대해야 할 새로운 표준을 설정합니다.