Giải phóng tiềm năng AI với LM Studio
Bộ xử lý AMD Ryzen AI MAX+ 395 thực sự tỏa sáng trong các tác vụ AI tiêu dùng đòi hỏi khắt khe, thể hiện qua hiệu suất vượt trội trong LM Studio, một ứng dụng dựa trên llama.cpp. Nổi lên như một nền tảng hàng đầu cho các hoạt động Mô hình ngôn ngữ lớn (LLM) phía máy khách, LM Studio cho phép người dùng chạy các mô hình ngôn ngữ mới nhất cục bộ, loại bỏ nhu cầu về chuyên môn kỹ thuật đặc biệt. Sự dễ sử dụng này giúp việc triển khai các mô hình văn bản và thị giác AI mới vào ngày đầu tiên trở nên cực kỳ đơn giản.
Nền tảng ‘Strix Halo’, trang bị bộ xử lý AMD Ryzen AI MAX+ series, mở rộng đáng kể vị trí dẫn đầu về hiệu suất của AMD trong môi trường LM Studio.
Nhiều bộ xử lý cạnh tranh trong phân khúc này bị giới hạn ở bộ nhớ 32GB trên bo mạch. Mặc dù dung lượng này thường đủ để chạy các mô hình ngôn ngữ lớn có kích thước xấp xỉ 16GB, Ryzen AI MAX+ 395 vượt qua những hạn chế này, mang lại lợi thế đáng kể trong việc xử lý các mô hình lớn hơn và phức tạp hơn.
Điểm chuẩn thống trị: Mô hình ngôn ngữ văn bản và thị giác
Điểm chuẩn nghiêm ngặt trong LM Studio cho thấy sức mạnh tuyệt đối của AMD Ryzen AI MAX+ 395. Khi kết hợp với một thiết bị như ASUS ROG Flow Z13, bộ xử lý đạt được thông lượng token gấp 2,2 lần so với Intel Arc 140V. Sự gia tăng hiệu suất đáng kể này không phải là một trường hợp riêng lẻ; nó vẫn nhất quán một cách đáng kinh ngạc trên các loại mô hình và kích thước tham số khác nhau.
Trong số liệu quan trọng về thời gian đến token đầu tiên, bộ xử lý AMD Ryzen AI MAX+ 395 thể hiện mức tăng ấn tượng hơn nữa. Nó đạt tốc độ nhanh hơn tới 4 lần so với đối thủ cạnh tranh khi làm việc với các mô hình nhỏ hơn, chẳng hạn như Llama 3.2 3b Instruct.
Lợi thế về hiệu suất tăng lên đáng kể với các mô hình lớn hơn. Khi xử lý các mô hình 7 tỷ và 8 tỷ tham số, như DeepSeek R1 Distill Qwen 7b và DeepSeek R1 Distill Llama 8b, Ryzen AI Max+ 395 tăng vọt lên nhanh hơn 9,1 lần. Và với các mô hình 14 tỷ tham số, ASUS ROG Flow Z13, được trang bị Ryzen AI Max+ 395, đạt được hiệu suất nhanh hơn 12,2 lần chưa từng có so với một máy tính xách tay được trang bị Intel Core Ultra 258V – một sự khác biệt vượt quá một bậc độ lớn!
Mối tương quan rất rõ ràng: LLM càng lớn, lợi thế về tốc độ của bộ xử lý AMD Ryzen AI Max+ 395 càng rõ rệt khi trả lời các truy vấn của người dùng. Cho dù tham gia vào các cuộc trò chuyện tương tác với mô hình hay giao các tác vụ tóm tắt phức tạp liên quan đến hàng nghìn token, máy do AMD cung cấp mang lại thời gian phản hồi nhanh hơn đáng kể. Lợi thế này mở rộng theo tỷ lệ với độ dài của lời nhắc, có nghĩa là tác vụ càng đòi hỏi khắt khe, lợi ích về hiệu suất càng trở nên đáng kể.
Nắm bắt AI đa phương thức: Khả năng thị giác
Sự phát triển của AI đang nhanh chóng vượt ra ngoài các LLM chỉ có văn bản. Ngày càng có nhiều mô hình đa phương thức có khả năng cao xuất hiện, kết hợp các bộ điều hợp thị giác và khả năng suy luận trực quan. IBM Granite Vision và dòng mô hình Google Gemma 3 mới ra mắt gần đây là những ví dụ điển hình, cả hai đều cung cấp các khả năng thị giác tiên tiến được tích hợp liền mạch với các PC AI thế hệ tiếp theo của AMD. Các mô hình này thể hiện hiệu suất vượt trội trên các hệ thống được trang bị bộ xử lý AMD Ryzen AI MAX+ 395.
Trong bối cảnh các mô hình thị giác, số liệu thời gian đến token đầu tiên thể hiện hiệu quả thời gian cần thiết để mô hình phân tích một hình ảnh được cung cấp.
Ở đây một lần nữa, bộ xử lý Ryzen AI Max+ 395 thể hiện khả năng lãnh đạo vượt trội. Nó nhanh hơn tới 7 lần trong IBM Granite Vision 3.2 3b, nhanh hơn tới 4,6 lần trong Google Gemma 3 4b và nhanh hơn tới 6 lần trong Google Gemma 3 12b. ASUS ROG Flow Z13, được trang bị tùy chọn bộ nhớ 64GB, thậm chí có thể dễ dàng xử lý mô hình Google Gemma 3 27B Vision, hiện được công nhận là mô hình thị giác tiên tiến nhất (SOTA).
Một minh chứng hấp dẫn khác liên quan đến việc chạy DeepSeek R1 Distill Qwen 32b ở độ chính xác 6 bit. Cấu hình này cho phép người dùng viết mã một trò chơi cổ điển trong một khoảng thời gian cực kỳ ngắn, khoảng 5 phút.
Tối ưu hóa cài đặt cho hiệu suất LLM
Để khai thác tối đa tiềm năng của bộ xử lý AMD Ryzen AI MAX+ 395 cho khối lượng công việc LLM, điều cần thiết là đảm bảo hệ thống của bạn đang chạy trình điều khiển AMD Software: Adrenalin Edition mới nhất. Máy tính xách tay AMD được trang bị bộ xử lý AMD Ryzen AI 300 series có tính năng Variable Graphics Memory (VGM). AMD khuyến nghị bật VGM cho tất cả khối lượng công việc LLM để tăng cường thông lượng token và tạo điều kiện thực thi các mô hình lớn hơn. Cài đặt VGM ‘High’ được khuyến nghị để có hiệu suất tối ưu. Các tùy chọn VGM có thể truy cập thông qua tab Performance > Tuning trong AMD Software: Adrenalin Edition.
Khi chạy LLM, bạn cũng cần chọn tùy chọn ‘manually select parameters’ và đặt cài đặt GPU Offload thành ‘MAX’. AMD khuyến nghị sử dụng lượng tử hóa Q4 K M cho sử dụng hàng ngày và lượng tử hóa Q6 hoặc Q8 cho các tác vụ mã hóa.
Tương lai của AI trên đường đi
Trải nghiệm AI cục bộ trên máy tính xách tay được trang bị bộ xử lý AMD Ryzen AI MAX+ 395 mang đến cho người dùng thành thạo cơ hội duy nhất để tương tác với các mô hình AI tiên tiến trong khi vẫn duy trì tính di động và tính linh hoạt của kiểu dáng mỏng và nhẹ. Sự kết hợp giữa sức mạnh và tính di động này làm cho các thiết bị này trở nên lý tưởng cho cả chơi game và làm việc, thiết lập một tiêu chuẩn mới cho điện toán di động. Ryzen AI MAX +395 không chỉ là một bộ xử lý; nó là một cửa ngõ vào một kỷ nguyên mới của trải nghiệm hỗ trợ AI, sẵn sàng có sẵn và cực kỳ di động. Nó cho phép các hoạt động phức tạp được thực hiện một cách dễ dàng và đặt ra một tiêu chuẩn mới cho những gì người dùng mong đợi.