Раскрытие потенциала ИИ с помощью LM Studio
Процессор Ryzen AI Max+ 395 действительно блистает в требовательных потребительских рабочих нагрузках ИИ, о чем свидетельствует его исключительная производительность в LM Studio, приложении на базе llama.cpp. LM Studio, становящаяся основной платформой для операций с большими языковыми моделями (LLM) на стороне клиента, позволяет пользователям запускать новейшие языковые модели локально, устраняя необходимость в специальных технических знаниях. Эта простота использования делает развертывание новых моделей ИИ для текста и зрения в первый же день удивительно простым.
Платформа ‘Strix Halo’, оснащенная процессорами серии AMD Ryzen AI MAX+, значительно расширяет лидерство AMD по производительности в среде LM Studio.
Многие конкурирующие процессоры в этом сегменте ограничены 32 ГБ памяти на кристалле. Хотя этой емкости, как правило, достаточно для запуска больших языковых моделей размером примерно до 16 ГБ, Ryzen AI MAX+ 395 превосходит эти ограничения, обеспечивая существенное преимущество при работе с более крупными и сложными моделями.
Превосходство в тестах: текстовые и визуальные языковые модели
Тщательное тестирование в LM Studio показывает всю мощь AMD Ryzen AI MAX+ 395. В паре с таким устройством, как ASUS ROG Flow Z13, процессор достигает в 2,2 раза большей пропускной способности токенов, чем Intel Arc 140V. Этот замечательный прирост производительности не является единичным случаем; он остается поразительно стабильным для различных типов моделей и размеров параметров.
По важнейшему показателю времени до первого токена процессор AMD Ryzen AI MAX+ 395 демонстрирует еще более впечатляющие результаты. Он достигает скорости в 4 раза выше, чем у конкурентов, при работе с меньшими моделями, такими как Llama 3.2 3b Instruct.
Преимущество в производительности резко возрастает с увеличением моделей. При работе с моделями с 7 и 8 миллиардами параметров, такими как DeepSeek R1 Distill Qwen 7b и DeepSeek R1 Distill Llama 8b, Ryzen AI Max+ 395 достигает поразительной скорости, в 9,1 раза превышающей скорость конкурентов. А с моделями с 14 миллиардами параметров ASUS ROG Flow Z13, оснащенный Ryzen AI Max+ 395, достигает беспрецедентной производительности, в 12,2 раза превышающей производительность ноутбука, оснащенного Intel Core Ultra 258V – разница более чем на порядок!
Корреляция очевидна: чем больше LLM, тем более выраженным становится преимущество процессора AMD Ryzen AI Max+ 395 в скорости ответа на запросы пользователей. Будь то интерактивное общение с моделью или назначение сложных задач по обобщению, включающих тысячи токенов, машина на базе AMD обеспечивает значительно более быстрое время отклика. Это преимущество пропорционально масштабируется в зависимости от длины запроса, а это означает, что чем сложнее задача, тем существеннее выигрыш в производительности.
Использование мультимодального ИИ: возможности зрения
Эволюция ИИ быстро выходит за рамки LLM, работающих только с текстом. Все чаще появляются высокопроизводительные мультимодальные модели, включающие адаптеры зрения и возможности визуального рассуждения. IBM Granite Vision и недавно запущенное семейство моделей Google Gemma 3 являются яркими примерами, оба предлагают расширенные возможности зрения, которые легко интегрируются с ИИ-ПК AMD следующего поколения. Эти модели демонстрируют исключительную производительность в системах, оснащенных процессором AMD Ryzen AI MAX+ 395.
В контексте моделей зрения метрика времени до первого токена эффективно представляет время, необходимое модели для анализа предоставленного изображения.
И здесь процессор Ryzen AI Max+ 395 демонстрирует уверенное лидерство. Он в 7 раз быстрее в IBM Granite Vision 3.2 3b, в 4,6 раза быстрее в Google Gemma 3 4b и в 6 раз быстрее в Google Gemma 3 12b. ASUS ROG Flow Z13, оснащенный 64 ГБ памяти, может без труда обрабатывать модель Google Gemma 3 27B Vision, которая в настоящее время признана самой современной (SOTA) моделью зрения.
Еще одна убедительная демонстрация включает запуск DeepSeek R1 Distill Qwen 32b с 6-битной точностью. Эта конфигурация позволяет пользователям написать код классической игры за удивительно короткий промежуток времени, примерно за 5 минут.
Оптимизация настроек для производительности LLM
Чтобы полностью использовать потенциал процессора AMD Ryzen AI MAX+ 395 для рабочих нагрузок LLM, необходимо убедиться, что в вашей системе установлена последняя версия драйвера AMD Software: Adrenalin Edition. Ноутбуки AMD, оснащенные процессорами серии AMD Ryzen AI 300, оснащены Variable Graphics Memory (VGM). AMD настоятельно рекомендует включить VGM для всех рабочих нагрузок LLM, чтобы повысить пропускную способность токенов и облегчить выполнение более крупных моделей. Для оптимальной производительности рекомендуется установить параметр VGM ‘High’. Параметры VGM доступны на вкладке Performance > Tuning в AMD Software: Adrenalin Edition.
При запуске LLM также важно установить флажок ‘manually select parameters’ и установить для параметра GPU Offload значение ‘MAX’. AMD рекомендует использовать квантование Q4 K M для повседневного использования и квантование Q6 или Q8 для задач кодирования.
Будущее ИИ на ходу
Локальное использование ИИ на ноутбуках, оснащенных процессором AMD Ryzen AI MAX+ 395, предлагает опытным пользователям уникальную возможность работать с передовыми моделями ИИ, сохраняя при этом портативность и универсальность тонкого и легкого форм-фактора. Такое сочетание мощности и портативности делает эти устройства идеальными как для игр, так и для продуктивной работы, устанавливая новый стандарт мобильных вычислений. Ryzen AI MAX +395 — это не просто процессор; это ворота в новую эру возможностей, основанных на ИИ, легкодоступных и исключительно мобильных. Он позволяет с легкостью выполнять сложные операции и устанавливает новый стандарт того, чего следует ожидать пользователям.