Thuần hóa Não Silicon: Khám phá AI tại chỗ cho báo chí

Tiếng gọi mời của trí tuệ nhân tạo ngày càng lớn, hứa hẹn hiệu quả và sự chuyển đổi trên nhiều ngành công nghiệp. Một viễn cảnh đặc biệt hấp dẫn là chạy các mô hình AI mạnh mẽ trực tiếp trên máy tính cá nhân, bỏ qua sự phụ thuộc vào đám mây, phí đăng ký và các lo ngại về quyền riêng tư dữ liệu. Các gã khổng lồ như Google, Meta và Mistral AI đã cung cấp miễn phí các Mô hình Ngôn ngữ Lớn (LLMs) tinh vi để tải về. Nhưng liệu khả năng tiếp cận này có chuyển thành tiện ích thực tế không? Liệu những bộ óc kỹ thuật số này, bị giới hạn trong silicon của máy tính để bàn hoặc máy tính xách tay, có thực sự tăng cường các quy trình công việc phức tạp như viết báo không? Bài viết này trình bày chi tiết một thử nghiệm sâu rộng được thiết kế để trả lời chính xác câu hỏi đó.

Chuẩn bị sân khấu: Thử nghiệm AI cục bộ

Trong vài tháng, một nỗ lực chuyên sâu đã được thực hiện để đánh giá hiệu suất thực tế của các LLM khác nhau có thể tải xuống miễn phí hoạt động hoàn toàn trên phần cứng cục bộ. Danh sách các mô hình được xem xét rất đa dạng, phản ánh bối cảnh đang phát triển nhanh chóng của AI nguồn mở:

• Google Gemma (cụ thể là phiên bản 3)
• Meta Llama (phiên bản 3.3)
• Anthropic Claude (phiên bản 3.7 Sonnet – mặc dù thường dựa trên đám mây, việc đưa vào cho thấy sự thử nghiệm rộng rãi)
• Nhiều phiên bản từ Mistral AI (bao gồm Mistral, Mistral Small 3.1, Mistral Nemo và Mixtral)
• IBM Granite (phiên bản 3.2)
• Alibaba Qwen (phiên bản 2.5)
• DeepSeek R1 (một lớp suy luận thường được áp dụng trên các phiên bản chưng cất của Qwen hoặc Llama)

Mục tiêu cốt lõi đầy tham vọng nhưng thực tế: xác định xem liệu các AI chạy cục bộ này có thể biến đổi bản ghi phỏng vấn thô thành các bài báo hoàn chỉnh, sẵn sàng xuất bản hay không. Điều này liên quan đến việc đánh giá không chỉ tính khả thi về mặt kỹ thuật – liệu phần cứng có thể xử lý tải không? – mà còn cả chất lượng đầu ra – văn bản kết quả có sử dụng được không? Điều quan trọng cần nêu rõ ngay từ đầu là việc đạt được một bài báo hoàn toàn tự động, sẵn sàng xuất bản tỏ ra khó nắm bắt. Mục tiêu chính đã chuyển sang việc hiểu rõ các khả năng và hạn chế thực sự của AI trên thiết bị hiện tại thông qua trường hợp sử dụng cụ thể, đòi hỏi khắt khe này.

Phương pháp được chọn tập trung vào một lời nhắc (prompt) đáng kể. Điều này bao gồm khoảng 1.500 token (khoảng 6.000 ký tự hoặc hai trang văn bản đầy đủ) phác thảo tỉ mỉ cấu trúc, phong cách và giọng điệu mong muốn của bài báo. Thêm vào bộ hướng dẫn này là bản ghi cuộc phỏng vấn, trung bình khoảng 11.000 token cho một cuộc trò chuyện 45 phút điển hình. Kích thước tuyệt đối của đầu vào kết hợp này (thường vượt quá 12.500 token) thường vượt quá giới hạn sử dụng miễn phí của nhiều nền tảng AI trực tuyến. Hạn chế này nhấn mạnh lý do khám phá việc triển khai cục bộ, nơi quá trình xử lý vẫn miễn phí bất kể kích thước đầu vào, chỉ bị giới hạn bởi khả năng của máy.

Việc thực hiện các thử nghiệm này liên quan đến việc sử dụng LM Studio, một phần mềm cộng đồng phổ biến cung cấp giao diện giống chatbot thân thiện với người dùng để tương tác với các LLM chạy cục bộ. LM Studio tích hợp thuận tiện các chức năng để tải xuống các phiên bản mô hình khác nhau, mặc dù nguồn chính cho các mô hình có sẵn miễn phí này vẫn là kho lưu trữ Hugging Face, một trung tâm trung tâm cho cộng đồng AI.

Điều hướng Mê cung Kỹ thuật: Phần cứng, Bộ nhớ và Kích thước Mô hình

Hành trình xử lý AI cục bộ nhanh chóng bộc lộ sự tương tác phức tạp giữa phần mềm và phần cứng. Chất lượng và tốc độ đầu ra của AI gắn liền mật thiết với các tài nguyên có sẵn trên máy thử nghiệm – một chiếc Mac được trang bị hệ thống trên chip (SoC) Apple Silicon M1 Max và bộ nhớ RAM 64 GB hào phóng. Quan trọng là, kiến trúc này có Kiến trúc Bộ nhớ Hợp nhất (UMA), cho phép 48 GB RAM được chia sẻ động giữa các lõi bộ xử lý (CPU), lõi đồ họa (GPU – được sử dụng để tăng tốc vector) và lõi bộ xử lý thần kinh (NPU – được sử dụng để tăng tốc ma trận).

Một số yếu tố kỹ thuật chính nổi lên như yếu tố quyết định:

1. Tham số Mô hình: LLMs thường được đo bằng số lượng tham số của chúng (thường là hàng tỷ). Các mô hình lớn hơn thường sở hữu kiến thức và sự tinh tế lớn hơn. Tuy nhiên, chúng đòi hỏi bộ nhớ nhiều hơn đáng kể.
2. Lượng tử hóa (Quantization): Điều này đề cập đến độ chính xác được sử dụng để lưu trữ các tham số của mô hình (ví dụ: 8-bit, 4-bit, 3-bit). Độ chính xác bit thấp hơn làm giảm đáng kể dung lượng bộ nhớ và tăng tốc độ xử lý, nhưng thường phải trả giá bằng độ chính xác và chất lượng đầu ra (gây ra lỗi, lặp lại hoặc ngôn ngữ vô nghĩa).
3. Cửa sổ Ngữ cảnh (Context Window): Điều này xác định lượng thông tin tối đa (lời nhắc + dữ liệu đầu vào) mà AI có thể xem xét cùng một lúc, được đo bằng token. Kích thước cửa sổ cần thiết được quyết định bởi nhiệm vụ; trong trường hợp này, lời nhắc và bản ghi lớn đòi hỏi một cửa sổ đáng kể.
4. RAM khả dụng: Lượng bộ nhớ giới hạn trực tiếp các mô hình (và ở mức lượng tử hóa nào) có thể được tải và chạy hiệu quả.

Điểm tối ưu, cung cấp sự cân bằng tốt nhất về chất lượng và tính khả thi trên máy thử nghiệm tại thời điểm đánh giá, đã đạt được bằng cách sử dụng mô hình Gemma của Google với 27 tỷ tham số, được lượng tử hóa thành 8 bit (phiên bản “27B Q8_0”). Cấu hình này hoạt động trong cửa sổ ngữ cảnh 32.000 token, xử lý thoải mái đầu vào khoảng 15.000 token (hướng dẫn + bản ghi). Nó chạy trên phần cứng Mac được chỉ định, sử dụng 48 GB bộ nhớ chia sẻ.

Trong điều kiện tối ưu này, tốc độ xử lý được đo là 6.82 token mỗi giây. Mặc dù hoạt động được, nhưng điều này còn xa mới tức thời. Việc cải thiện tốc độ mà không làm giảm chất lượng đầu ra chủ yếu phụ thuộc vào phần cứng nhanh hơn – cụ thể là các SoC có tốc độ xung nhịp cao hơn (GHz) hoặc số lượng lõi xử lý lớn hơn (CPU, GPU, NPU).

Việc cố gắng tải các mô hình có số lượng tham số lớn hơn đáng kể (ví dụ: 32 tỷ, 70 tỷ) nhanh chóng chạm đến giới hạn bộ nhớ. Các mô hình lớn hơn này hoặc không tải được hoàn toàn hoặc tạo ra đầu ra bị cắt ngắn nghiêm trọng, không thể sử dụng được (như một đoạn văn thay vì một bài báo đầy đủ). Ngược lại, việc sử dụng các mô hình có ít tham số hơn, trong khi giải phóng bộ nhớ, dẫn đến sự suy giảm đáng kể về chất lượng viết, đặc trưng bởi sự lặp lại và các ý tưởng được trình bày kém. Tương tự, việc sử dụng lượng tử hóa mạnh hơn (giảm tham số xuống 3, 4, 5 hoặc 6 bit) đã tăng tốc độ nhưng làm suy giảm nghiêm trọng đầu ra, gây ra lỗi ngữ pháp và thậm chí cả các từ bịa đặt.

Kích thước của cửa sổ ngữ cảnh cần thiết, được xác định bởi dữ liệu đầu vào, về cơ bản là không thể thương lượng cho nhiệm vụ. Nếu dữ liệu đầu vào yêu cầu một cửa sổ mà, kết hợp với kích thước mô hình và lượng tử hóa đã chọn, vượt quá RAM khả dụng, biện pháp duy nhất là chọn một mô hình nhỏ hơn, chắc chắn làm ảnh hưởng đến chất lượng tiềm năng của kết quả cuối cùng để duy trì trong giới hạn bộ nhớ.

Cuộc tìm kiếm Chất lượng: Khi Cấu trúc Gặp Nội dung (hoặc Thiếu sót)

Liệu AI chạy cục bộ có thành công trong việc tạo ra các bài báo có thể sử dụng được không? Có và không. Các văn bản được tạo ra thường thể hiện cấu trúc tốt đáng ngạc nhiên. Chúng thường tuân thủ định dạng được yêu cầu, bao gồm:

• Một góc độ hoặc trọng tâm rõ ràng.
• Một dòng chảy mạch lạc qua các phần chủ đề.
• Các trích dẫn được đặt phù hợp từ bản ghi.
• Tiêu đề hấp dẫn và câu kết luận.

Tuy nhiên, một lỗ hổng nghiêm trọng đã xuất hiện nhất quán trên tất cả các LLM được thử nghiệm, bao gồm cả những mô hình như DeepSeek R1, được thiết kế đặc biệt để tăng cường khả năng suy luận: một sự bất lực cơ bản trong việc phân biệt và ưu tiên chính xác mức độ liên quan của thông tin trong cuộc phỏng vấn. Các mô hình AI liên tục bỏ lỡ điểm cốt lõi của cuộc trò chuyện, tập trung vào các điểm phụ hoặc chi tiết ngoài lề.

Kết quả thường là những bài báo đúng ngữ pháp và được tổ chức tốt nhưng cuối cùng lại hời hợt và không thú vị. Trong một số trường hợp, AI sẽ dành những đoạn văn quan trọng, được lập luận tốt để nêu những điều hiển nhiên – ví dụ, trình bày dài dòng rằng công ty được phỏng vấn hoạt động trong một thị trường có đối thủ cạnh tranh. Điều này làm nổi bật khoảng cách giữa năng lực ngôn ngữ (hình thành các câu mạch lạc) và sự hiểu biết thực sự (hiểu tầm quan trọng và ngữ cảnh).

Hơn nữa, đầu ra về phong cách thay đổi đáng kể giữa các mô hình:

• Llama 3.x của Meta: Tại thời điểm thử nghiệm, tạo ra các câu thường phức tạp và khó phân tích.
• Các mô hình Mistral & Gemma: Cho thấy xu hướng theo phong cách “ngôn ngữ tiếp thị”, sử dụng các tính từ hoa mỹ và khung tích cực nhưng thiếu nội dung cụ thể và chi tiết.
• Qwen của Alibaba: Đáng ngạc nhiên, trong giới hạn của thiết lập thử nghiệm, mô hình Trung Quốc này đã tạo ra một số văn xuôi thẩm mỹ nhất bằng tiếng Pháp (ngôn ngữ của nhóm đánh giá ban đầu).
• Mixtral 8x7B: Ban đầu, mô hình “hỗn hợp chuyên gia” này (kết hợp tám mô hình 7 tỷ tham số nhỏ hơn, chuyên biệt) cho thấy nhiều hứa hẹn. Tuy nhiên, việc đưa nó vào giới hạn bộ nhớ 48 GB đòi hỏi lượng tử hóa 3-bit mạnh mẽ, dẫn đến lỗi cú pháp đáng kể. Một phiên bản lượng tử hóa 4-bit (“Q4_K_M”) ban đầu cung cấp một sự thỏa hiệp tốt hơn, nhưng các bản cập nhật sau đó cho phần mềm LM Studio đã làm tăng dung lượng bộ nhớ của nó, khiến cấu hình này cũng tạo ra kết quả bị cắt ngắn.
• Mistral Small 3.1: Một mô hình gần đây hơn với 24 tỷ tham số ở lượng tử hóa 8-bit nổi lên như một đối thủ mạnh. Chất lượng đầu ra của nó gần bằng mô hình Gemma 27B và nó cung cấp lợi thế tốc độ nhẹ, xử lý ở 8.65 token mỗi giây.

Sự thay đổi này nhấn mạnh rằng việc chọn một LLM không chỉ là về kích thước hoặc tốc độ; dữ liệu đào tạo cơ bản và kiến trúc ảnh hưởng đáng kể đến phong cách viết và các thành kiến tiềm ẩn của nó.

Kiến trúc Phần cứng: Người hùng Thầm lặng của AI Cục bộ

Các thử nghiệm đã làm sáng tỏ một yếu tố quan trọng, thường bị bỏ qua: kiến trúc phần cứng cơ bản, cụ thể là cách bộ nhớ được truy cập. Hiệu suất vượt trội được quan sát trên máy Mac Apple Silicon không chỉ do dung lượng RAM mà còn phụ thuộc chủ yếu vào Kiến trúc Bộ nhớ Hợp nhất (UMA) của nó.

Trong hệ thống UMA, các lõi CPU, GPU và NPU đều chia sẻ cùng một nhóm RAM vật lý và có thể truy cập dữ liệu tại cùng các địa chỉ bộ nhớ đồng thời. Điều này loại bỏ nhu cầu sao chép dữ liệu giữa các nhóm bộ nhớ riêng biệt dành riêng cho các bộ xử lý khác nhau (ví dụ: RAM hệ thống cho CPU và VRAM chuyên dụng cho card đồ họa rời).

Tại sao điều này lại quan trọng đối với LLMs?

• Hiệu quả: Xử lý LLM liên quan đến tính toán cường độ cao trên các loại lõi khác nhau. UMA cho phép chia sẻ dữ liệu liền mạch, giảm độ trễ và chi phí liên quan đến việc sao chép và truyền dữ liệu.
• Sử dụng Bộ nhớ: Trong các hệ thống không có UMA (như PC thông thường có GPU rời), cùng một dữ liệu có thể cần được tải vào cả RAM hệ thống chính (cho CPU) và VRAM của GPU. Điều này thực sự làm giảm bộ nhớ có thể sử dụng cho chính LLM.

Hàm ý thực tế là rất đáng kể. Trong khi máy Mac thử nghiệm có thể chạy thoải mái mô hình 27 tỷ tham số, lượng tử hóa 8-bit sử dụng 48 GB RAM UMA chia sẻ, việc đạt được hiệu suất tương tự trên PC không có UMA có thể yêu cầu tổng RAM nhiều hơn đáng kể. Ví dụ, một PC có tổng RAM 48 GB được chia thành 24 GB cho CPU và 24 GB cho GPU có thể chỉ có khả năng chạy hiệu quả một mô hình 13 tỷ tham số nhỏ hơn nhiều, do phân vùng bộ nhớ và chi phí sao chép dữ liệu.

Lợi thế kiến trúc này giải thích sự dẫn đầu ban đầu mà các máy Mac với chip Apple Silicon đạt được trong không gian AI cục bộ. Nhận thức được điều này, các đối thủ cạnh tranh như AMD đã công bố dòng SoC Ryzen AI Max của họ (dự kiến vào đầu năm 2025) được thiết kế để kết hợp một phương pháp bộ nhớ hợp nhất tương tự. Tại thời điểm thực hiện các thử nghiệm này, các SoC Core Ultra của Intel, mặc dù tích hợp CPU, GPU và NPU, không có cùng mức độ truy cập bộ nhớ hợp nhất hoàn toàn trên tất cả các loại lõi. Sự khác biệt về phần cứng này là một yếu tố quan trọng cần cân nhắc đối với bất kỳ ai nghiêm túc về việc chạy các LLM lớn hơn, có khả năng hơn tại địa phương.

Vũ điệu Phức tạp của Kỹ thuật Gợi ý (Prompt Engineering)

Để khiến AI thực hiện một nhiệm vụ phức tạp như biến một cuộc phỏng vấn thành một bài báo đòi hỏi nhiều hơn là chỉ phần cứng mạnh mẽ và một mô hình có khả năng; nó đòi hỏi sự hướng dẫn tinh vi – nghệ thuật và khoa học của kỹ thuật gợi ý (prompt engineering). Việc tạo ra lời nhắc 1.500 token ban đầu hướng dẫn AI là một công việc quan trọng.

Một điểm khởi đầu hữu ích liên quan đến kỹ thuật đảo ngược (reverse engineering): cung cấp cho AI một bài báo hoàn chỉnh do con người viết cùng với bản ghi tương ứng và hỏi lời nhắc nên được đưa ra để đạt được kết quả đó là gì. Phân tích các đề xuất của AI trên một số ví dụ đa dạng đã giúp xác định các yếu tố cần thiết cho bộ hướng dẫn.

Tuy nhiên, các đề xuất lời nhắc do AI tạo ra luôn quá ngắn gọn và thiếu chi tiết cần thiết để hướng dẫn việc tạo ra một bài báo toàn diện. Công việc thực sự nằm ở việc lấy những gợi ý ban đầu do AI cung cấp này và xây dựng chi tiết dựa trên chúng, nhúng kiến thức chuyên sâu về cấu trúc, giọng điệu, phong cách và các cân nhắc đạo đức trong báo chí.

Một số bài học không trực quan đã xuất hiện:

• Rõ ràng hơn Thanh lịch: Đáng ngạc nhiên, việc viết lời nhắc theo phong cách tự nhiên, trôi chảy hơn thường làm giảm khả năng hiểu của AI. Các mô hình gặp khó khăn với sự mơ hồ, đặc biệt là đại từ (“anh ấy,” “nó,” “điều này”). Cách tiếp cận hiệu quả nhất liên quan đến việc hy sinh khả năng đọc của con người để đổi lấy độ chính xác của máy, lặp lại rõ ràng các chủ thể (“bài báo nên…”, “giọng điệu của bài báo phải…”, “phần giới thiệu của bài báo cần…”) để tránh mọi hiểu lầm tiềm ẩn.
• Bản chất Khó nắm bắt của Sáng tạo: Mặc dù thiết kế lời nhắc cẩn thận nhằm mục đích cho phép linh hoạt, các bài báo do AI tạo ra luôn có chung một “nét tương đồng gia đình”. Việc nắm bắt được bề rộng của sự sáng tạo và biến thể phong cách của con người trong một lời nhắc duy nhất, hoặc thậm chí nhiều lời nhắc cạnh tranh, tỏ ra cực kỳ khó khăn. Sự đa dạng thực sự dường như đòi hỏi những thay đổi cơ bản hơn là chỉ tinh chỉnh lời nhắc.

Kỹ thuật gợi ý không phải là một nhiệm vụ một lần mà là một quá trình lặp đi lặp lại gồm tinh chỉnh, thử nghiệm và kết hợp logic kinh doanh cụ thể và các sắc thái phong cách. Nó đòi hỏi sự pha trộn giữa hiểu biết kỹ thuật và chuyên môn sâu về chủ đề.

Sự Chuyển dịch Khối lượng Công việc: Giải mã Nghịch lý AI

Các thử nghiệm cuối cùng đã dẫn đến một nhận thức quan trọng, được gọi là nghịch lý AI: ở trạng thái hiện tại, để AI có khả năng giảm bớt một số khối lượng công việc của người dùng (viết bản nháp bài báo), người dùng thường phải đầu tư nhiều công việc sơ bộ hơn.

Vấn đề cốt lõi vẫn là sự bất lực của AI trong việc đánh giá đáng tin cậy mức độ liên quan trong bản ghi phỏng vấn thô. Để tạo ra một bài báo phù hợp, việc chỉ cung cấp toàn bộ bản ghi là không đủ. Một bước trung gian cần thiết đã xuất hiện: xử lý trước bản ghi bằng tay. Điều này bao gồm:

1. Loại bỏ các cuộc trò chuyện không liên quan, lạc đề và dư thừa.
2. Có khả năng thêm các ghi chú ngữ cảnh (ngay cả khi không dành cho bài báo cuối cùng) để hướng dẫn sự hiểu biết của AI.
3. Lựa chọn cẩn thận và có lẽ sắp xếp lại các phân đoạn chính.

Việc “chăm sóc” bản ghi này đòi hỏi thời gian và sự phán đoán đáng kể của con người. Thời gian tiết kiệm được nhờ AI tạo bản nháp đầu tiên đã bị bù đắp một cách hiệu quả, hoặc thậm chí vượt quá, bởi nhiệm vụ mới là chuẩn bị tỉ mỉ dữ liệu đầu vào của nó. Khối lượng công việc không biến mất; nó chỉ đơn thuần chuyển từ viết trực tiếp sang chuẩn bị dữ liệu và tinh chỉnh lời nhắc.

Hơn nữa, lời nhắc chi tiết 1.500 token rất cụ thể cho một loại bài báo (ví dụ: một cuộc phỏng vấn về việc ra mắt sản phẩm). Để bao quát phạm vi đa dạng các định dạng bài báo mà một nhà báo sản xuất hàng ngày – hồ sơ khởi nghiệp, phân tích chiến lược, đưa tin sự kiện, điều tra đa nguồn – sẽ đòi hỏi phải phát triển, thử nghiệm và duy trì một lời nhắc riêng biệt, chi tiết tương tự cho mỗi trường hợp sử dụng. Điều này đại diện cho một khoản đầu tư kỹ thuật đáng kể ban đầu và liên tục.

Tệ hơn nữa, những thử nghiệm sâu rộng này, kéo dài hơn sáu tháng, chỉ mới chạm đến bề mặt. Chúng tập trung vào kịch bản đơn giản nhất: tạo một bài báo từ một cuộc phỏng vấn duy nhất, thường được thực hiện trong các bối cảnh được kiểm soát như họp báo nơi các điểm của người được phỏng vấn đã được cấu trúc phần nào. Các nhiệm vụ phức tạp hơn nhiều, nhưng phổ biến, là tổng hợp thông tin từ nhiều cuộc phỏng vấn, kết hợp nghiên cứu nền tảng hoặc xử lý các cuộc trò chuyện ít cấu trúc hơn vẫn chưa được khám phá do thời gian đầu tư cần thiết ngay cả cho trường hợp cơ bản.

Do đó, mặc dù việc chạy LLMs cục bộ là khả thi về mặt kỹ thuật và mang lại lợi ích về chi phí và quyền riêng tư dữ liệu, quan niệm rằng nó dễ dàng tiết kiệm thời gian hoặc công sức cho công việc tri thức phức tạp như báo chí, dựa trên cuộc điều tra này, hiện tại là ảo tưởng. Nỗ lực cần thiết chỉ đơn giản là biến đổi, chuyển lên thượng nguồn thành chuẩn bị dữ liệu và kỹ thuật gợi ý rất cụ thể. Đối với những thách thức cụ thể này – phân biệt mức độ liên quan, yêu cầu xử lý trước sâu rộng – AI chạy cục bộ hoạt động tương đương với các dịch vụ trực tuyến trả phí, cho thấy đây là những hạn chế cơ bản của thế hệ LLMs hiện tại, bất kể phương thức triển khai. Con đường dẫn đến sự hỗ trợ AI thực sự liền mạch trong các lĩnh vực như vậy vẫn còn phức tạp và đòi hỏi sự phát triển hơn nữa cả về khả năng của AI và phương pháp tương tác của chúng ta với chúng.