Kỹ thuật ngữ cảnh (Context engineering) thể hiện một sự thay đổi quan trọng trong trí tuệ nhân tạo, chuyển từ các lời nhắc riêng lẻ sang xây dựng các hệ sinh thái thông tin toàn diện xung quanh các mô hình ngôn ngữ lớn (LLMs). Khi các ứng dụng AI phát triển từ chatbot cơ bản thành các tác nhân phức tạp có khả năng thực hiện các tác vụ phức tạp, nhiều bước, chất lượng đầu ra của mô hình ngày càng phụ thuộc vào thông tin được cung cấp. Do đó, kỹ thuật ngữ cảnh đã trở nên cần thiết để tạo ra các ứng dụng AI mạnh mẽ và đáng tin cậy, mang lại trải nghiệm người dùng ấn tượng.
Sự thay đổi mô hình: Từ lời nhắc đến hệ thống
Trọng tâm đang chuyển từ việc tạo ra các lời nhắc riêng lẻ sang xây dựng một cách có hệ thống một hệ sinh thái thông tin hoàn chỉnh xung quanh các mô hình ngôn ngữ lớn (LLMs). Khi các ứng dụng AI phát triển từ chatbot đơn giản thành các tác nhân thông minh có khả năng thực hiện các tác vụ phức tạp, nhiều bước, chất lượng đầu ra của mô hình ngày càng phụ thuộc vào chất lượng thông tin được cung cấp. Các nhà lãnh đạo ngành và các nhà nghiên cứu AI nhận ra tầm quan trọng của sự thay đổi này, nhấn mạnh sự cần thiết phải cung cấp cho LLMs ngữ cảnh toàn diện để giải quyết các tác vụ một cách hiệu quả. Kỹ thuật ngữ cảnh liên quan đến nghệ thuật và khoa học điền vào cửa sổ ngữ cảnh với thông tin phù hợp, cho phép các mô hình đưa ra các quyết định chính xác.
Lập luận trung tâm là sự thất bại của hầu hết các tác nhân thông minh xuất phát từ sự thiếu hụt ngữ cảnh hơn là từ sự thất bại của mô hình. Khẳng định này định nghĩa lại thách thức cốt lõi của kỹ thuật AI, chuyển sự chú ý từ việc điều chỉnh mô hình sang phát triển các hệ thống hỗ trợ thông tin. Hiểu và làm chủ kỹ thuật ngữ cảnh đã trở thành một điều kiện tiên quyết để xây dựng các ứng dụng AI mạnh mẽ, đáng tin cậy.
Định nghĩa kỹ thuật ngữ cảnh
Kỹ thuật ngữ cảnh không chỉ là phiên bản nâng cao của kỹ thuật lời nhắc; nó là một ngành kỹ thuật cấp hệ thống độc đáo tập trung vào việc tạo ra một hệ thống phân phối thông tin động, thay vì chỉ đơn giản là tối ưu hóa đầu vào văn bản.
Kỹ thuật ngữ cảnh có thể được định nghĩa là một ngành kỹ thuật tập trung vào việc thiết kế và xây dựng các hệ thống động cung cấp cho LLMs thông tin và công cụ cần thiết để hoàn thành các tác vụ một cách chính xác, đúng định dạng và đúng thời điểm.
Các thành phần chính:
- "Thiết kế và xây dựng các hệ thống động": Điều này nhấn mạnh rằng kỹ thuật ngữ cảnh là một hoạt động kỹ thuật, tập trung vào kiến trúc hệ thống hơn là chỉ diễn đạt. Ngữ cảnh là đầu ra của một hệ thống chạy trước lệnh gọi LLM chính. Các kỹ sư cần xây dựng các quy trình dữ liệu, các mô-đun bộ nhớ và các cơ chế truy xuất thông tin để chuẩn bị bộ nhớ làm việc của LLM.
- "Thông tin và công cụ chính xác": Bao gồm các sự kiện, dữ liệu, nội dung cơ sở kiến thức (thông qua RAG) và sở thích của người dùng. Các công cụ đề cập đến các khả năng như giao diện API, các hàm hoặc các truy vấn cơ sở dữ liệu. Cung cấp cả kiến thức và khả năng là nền tảng cho các tác vụ phức tạp.
- "Định dạng chính xác, vào đúng thời điểm": Nhấn mạnh tầm quan trọng của việc trình bày và thời gian thông tin. Một bản tóm tắt ngắn gọn thường tốt hơn dữ liệu thô và một lược đồ công cụ rõ ràng hiệu quả hơn các hướng dẫn mơ hồ. Cung cấp ngữ cảnh theo yêu cầu là rất quan trọng để tránh làm mô hình mất tập trung với thông tin không liên quan.
- "Hoàn thành đáng tin cậy nhiệm vụ": Đây là mục tiêu cuối cùng của kỹ thuật ngữ cảnh. Nó biến các ứng dụng AI thành các hệ thống đáng tin cậy có thể tạo ra đầu ra chất lượng cao một cách nhất quán. Với việc quản lý ngữ cảnh chính xác, đầu ra trở nên nhất quán hơn, giảm thiểu ảo giác và hỗ trợ các quy trình tác nhân thông minh phức tạp, chu kỳ dài.
Sự tiến hóa từ kỹ thuật lời nhắc đến kỹ thuật ngữ cảnh
Mặc dù cả kỹ thuật ngữ cảnh và kỹ thuật lời nhắc đều nhằm mục đích tối ưu hóa đầu ra LLM, nhưng chúng khác nhau về phạm vi, bản chất và mục tiêu. Một so sánh cấp hệ thống làm nổi bật những điểm khác biệt này:
- Phạm vi: Kỹ thuật lời nhắc tập trung vào việc tối ưu hóa các tương tác hoặc chuỗi văn bản đơn lẻ, trong khi kỹ thuật ngữ cảnh tập trung vào toàn bộ hệ sinh thái thông tin, bao gồm toàn bộ vòng đời tác vụ.
- Tính năng động: Lời nhắc thường tĩnh, trong khi ngữ cảnh được tạo động dựa trên tác vụ và phát triển trong quá trình tương tác.
- Thành phần đầu vào: Các kỹ sư lời nhắc xây dựng đầu vào xung quanh các truy vấn của người dùng, trong khi các kỹ sư ngữ cảnh xem các truy vấn của người dùng chỉ là một phần của một "gói ngữ cảnh" lớn hơn bao gồm các hướng dẫn hệ thống, các tài liệu được truy xuất, đầu ra công cụ và lịch sử hội thoại.
- Phép loại suy: Nếu lời nhắc giống như một dòng duy nhất trong một vở kịch, thì ngữ cảnh là toàn bộ bối cảnh, câu chuyện nền và kịch bản của bộ phim, cùng nhau cung cấp chiều sâu và ý nghĩa.
Bảng dưới đây so sánh thêm hai điều này:
Kỹ thuật lời nhắc so với kỹ thuật ngữ cảnh
Chiều | Kỹ thuật lời nhắc | Kỹ thuật ngữ cảnh |
---|---|---|
Phạm vi | Tương tác đơn lẻ, chuỗi đầu vào đơn lẻ | Quy trình tác nhân thông minh hoàn chỉnh, hệ sinh thái thông tin đầy đủ |
Bản chất | Tĩnh hoặc bán tĩnh, dựa trên mẫu | Động, được lắp ráp trong thời gian thực, phát triển theo tác vụ |
Mục tiêu | Hướng dẫn LLM đưa ra câu trả lời chất lượng cao | Trao quyền cho LLM để hoàn thành các tác vụ phức tạp một cách đáng tin cậy liên tục |
Sản phẩm cốt lõi | Các mẫu lời nhắc được tối ưu hóa, bộ hướng dẫn | Các quy trình dữ liệu, hệ thống RAG, mô-đun bộ nhớ, trình quản lý trạng thái |
Kỹ năng cốt lõi | Ngôn ngữ học, lý luận logic, thiết kế hướng dẫn | Kiến trúc hệ thống, kỹ thuật dữ liệu, phát triển phần mềm |
Phép loại suy cốt lõi | Đặt một câu hỏi chính xác | Xây dựng một thư viện toàn diện cho một nhà nghiên cứu |
Định nghĩa lại kỹ thuật AI
Sự thay đổi từ kỹ thuật lời nhắc sang kỹ thuật ngữ cảnh này định hình lại vai trò của các kỹ sư AI. Kỹ thuật lời nhắc tập trung vào việc hoàn thiện các chuỗi đầu vào, đòi hỏi các kỹ năng về ngôn ngữ học và logic. Tuy nhiên, khi nhiệm vụ trở thành xây dựng các hệ thống lắp ráp động các đầu vào này từ cơ sở dữ liệu, API và bộ nhớ, các kỹ năng cốt lõi chuyển sang kỹ thuật phần mềm và kiến trúc hệ thống.
Các framework như LangChain và LlamaIndex rất phổ biến vì chúng hỗ trợ kỹ thuật ngữ cảnh, cung cấp các mẫu kiến trúc để xây dựng các hệ thống lắp ráp ngữ cảnh động, chẳng hạn như Chains, Graphs và Agents.
Sự trỗi dậy của kỹ thuật ngữ cảnh đánh dấu một sự thay đổi trong phát triển AI từ một lĩnh vực mô hình-trung tâm, thích hợp sang một ngành kỹ thuật phần mềm chủ đạo. Thách thức chính không chỉ là chính mô hình mà là toàn bộ ngăn xếp ứng dụng được xây dựng xung quanh nó.
Ngữ cảnh: Phân tích và Nguyên tắc
Phần này trình bày chi tiết các thành phần của "ngữ cảnh" và phác thảo các nguyên tắc để quản lý hiệu quả.
Phân tích cửa sổ ngữ cảnh
Cửa sổ ngữ cảnh là tổng thông tin mà mô hình có thể "nhìn thấy" hoặc "ghi nhớ" khi tạo ra một phản hồi. Một "gói ngữ cảnh" hoàn chỉnh là tổng của tất cả thông tin được cung cấp.
- Hướng dẫn/Lời nhắc hệ thống: Lớp cơ sở này xác định hành vi của mô hình, thiết lập vai trò, phong cách, quy tắc, ràng buộc và mục tiêu của nó.
- Lời nhắc người dùng: Câu hỏi trực tiếp hoặc hướng dẫn tác vụ kích hoạt tác nhân thông minh.
- Lịch sử hội thoại/Bộ nhớ ngắn hạn: Các trao đổi trước đây cung cấp ngữ cảnh trực tiếp, được quản lý thông qua cắt tỉa hoặc tóm tắt do giới hạn của cửa sổ ngữ cảnh.
- Bộ nhớ dài hạn: Một cơ sở kiến thức liên tục ghi lại thông tin đã học được từ các tương tác, chẳng hạn như sở thích của người dùng, tóm tắt dự án hoặc các sự kiện được thông báo rõ ràng để ghi nhớ.
- Thông tin được truy xuất/RAG: Để khắc phục việc cắt bỏ kiến thức và đảm bảo các phản hồi dựa trên sự kiện, hệ thống sẽ truy xuất động thông tin liên quan từ các nguồn kiến thức bên ngoài.
- Các công cụ có sẵn: Xác định giản đồ và mô tả các hàm có thể gọi hoặc các công cụ tích hợp, cung cấp cho mô hình khả năng hành động, không chỉ biết.
- Đầu ra công cụ: Kết quả từ các lệnh gọi công cụ phải được đưa trở lại vào ngữ cảnh để mô hình sử dụng trong các suy luận và hành động tiếp theo.
- Lược đồ đầu ra có cấu trúc: Xác định định dạng đầu ra dự kiến (như JSON Schema) để hướng dẫn các kết quả có cấu trúc, có thể dự đoán được.
Framework "LLM as an Operating System"
Phép loại suy này cung cấp một framework lý thuyết vững chắc để hiểu và thực hành quản lý ngữ cảnh.
LLM as CPU, Cửa sổ ngữ cảnh as RAM: Phép loại suy này định vị cửa sổ ngữ cảnh là một tài nguyên có giới hạn và có giá trị. Kỹ thuật ngữ cảnh giống như quản lý OS, tải hiệu quả thông tin phù hợp vào đúng thời điểm vào bộ nhớ làm việc.
Ngữ cảnh Kernel so với Ngữ cảnh người dùng: Framework này chia ngữ cảnh thành hai lớp; tương tự như không gian hạt nhân và không gian người dùng.
- Ngữ cảnh Kernel: Đại diện cho trạng thái được quản lý, thay đổi, liên tục của tác nhân thông minh. Nó bao gồm các khối bộ nhớ cốt lõi và hệ thống tệp mà LLM có thể quan sát, nhưng chỉ sửa đổi thông qua các "lệnh gọi hệ thống" được kiểm soát.
- Ngữ cảnh người dùng: Đại diện cho "không gian người dùng" hoặc bộ đệm message, nơi các tương tác động xảy ra. Nó bao gồm các message người dùng, phản hồi của trợ lý và các lệnh gọi đến các công cụ "chương trình người dùng" không có đặc quyền.
Các lệnh gọi hệ thống và Các công cụ tùy chỉnh: Sự khác biệt này làm rõ cách tác nhân tương tác với trạng thái bên trong của nó và thế giới bên ngoài. Các lệnh gọi hệ thống sửa đổi Kernel Context, thay đổi trạng thái liên tục của tác nhân, trong khi các công cụ tùy chỉnh mang thông tin bên ngoài vào User Context.
Các nguyên tắc hướng dẫn của kỹ thuật ngữ cảnh
Kỹ thuật ngữ cảnh hiệu quả tuân theo các nguyên tắc cốt lõi, bắt nguồn từ các học viên, để xây dựng các hệ thống tác nhân thông minh đáng tin cậy.
- Ngữ cảnh liên tục và toàn diện: Còn được gọi là "Xem mọi thứ", nguyên tắc này yêu cầu tác nhân có quyền truy cập vào toàn bộ lịch sử hoạt động của nó, bao gồm các tương tác trước đây của người dùng, đầu ra lệnh gọi công cụ, các quy trình suy nghĩ bên trong và các kết quả trung gian.
- Tránh tính song song không phối hợp: Cho phép nhiều tác nhân phụ hoặc tác vụ phụ hoạt động song song mà không có ngữ cảnh chung, được cập nhật liên tục, hầu như chắc chắn dẫn đến sự không nhất quán đầu ra, các mục tiêu xung đột và thất bại.
- Ngữ cảnh động và phát triển: Ngữ cảnh không nên là một khối thông tin tĩnh. Nó phải được lắp ráp và phát triển động dựa trên tiến trình tác vụ, thu thập hoặc cập nhật thông tin trong thời gian chạy.
- Bảo hiểm ngữ cảnh đầy đủ: Mô hình phải được cung cấp tất cả thông tin có thể cần, không chỉ câu hỏi mới nhất của người dùng. Toàn bộ gói đầu vào (hướng dẫn, dữ liệu, lịch sử, v.v.) phải được thiết kế cẩn thận.
Các chiến lược quản lý ngữ cảnh:
Viết: Lưu giữ ngữ cảnh:
Điều này liên quan đến việc lưu trữ thông tin ngoài cửa sổ ngữ cảnh ngay lập tức để sử dụng trong tương lai, xây dựng khả năng bộ nhớ của tác nhân.
- Bảng nháp: Được sử dụng để lưu trữ bộ nhớ ngắn hạn trong phiên.
- Hệ thống bộ nhớ: Được sử dụng để xây dựng bộ nhớ dài hạn trên các phiên.
Chọn: Truy xuất ngữ cảnh:
Điều này liên quan đến việc kéo thông tin phù hợp từ bộ nhớ ngoài vào cửa sổ ngữ cảnh vào đúng thời điểm.
- Chọn từ bộ nhớ/Bảng nháp: Tác nhân phải có khả năng truy vấn hiệu quả bộ nhớ và bảng nháp được lưu của nó khi cần nhớ lại kiến thức trong quá khứ.
- Chọn từ công cụ: Khi tác nhân có nhiều công cụ có sẵn, việc áp dụng các kỹ thuật RAG cho chính các mô tả công cụ sẽ hiệu quả, truy xuất và cung cấp động chỉ các công cụ phù hợp nhất dựa trên tác vụ hiện tại.
- Chọn từ kiến thức: Đây là chức năng cốt lõi của tạo sinh tăng cường truy xuất (RAG), thu thập động thông tin thực tế từ các cơ sở kiến thức bên ngoài để nâng cao khả năng trả lời của mô hình.
Nén: Tối ưu hóa ngữ cảnh:
Điều này liên quan đến việc giảm số lượng mã thông báo được sử dụng trong ngữ cảnh trong khi vẫn giữ lại thông tin cốt lõi.
- Tóm tắt: Sử dụng LLM để tóm tắt lịch sử hội thoại dài dòng, tài liệu hoặc đầu ra công cụ, trích xuất thông tin chính.
- Cắt tỉa:Sử dụng các quy tắc heuristic để cắt bớt ngữ cảnh, chẳng hạn như chỉ cần xóa các vòng đối thoại sớm nhất khi lịch sử hội thoại quá dài.
Cách ly: Phân vùng ngữ cảnh:
Điều này liên quan đến việc phân tách ngữ cảnh thành các phần khác nhau để cải thiện sự tập trung của mô hình và quản lý độ phức tạp của tác vụ.
- Hệ thống đa tác nhân: Các tác vụ lớn có thể được chia cho nhiều tác nhân phụ, mỗi tác nhân có ngữ cảnh, công cụ và hướng dẫn chuyên dụng, biệt lập riêng.
- Môi trường hộp cát: Các hoạt động tiêu thụ một lượng lớn mã thông báo có thể được chạy trong một môi trường biệt lập, chỉ trả về các kết quả chính cuối cùng cho ngữ cảnh của LLM chính.
Kiến trúc bộ nhớ nâng cao
Bộ nhớ là chìa khóa để xây dựng các tác nhân thông minh có thể học hỏi và thích ứng. Các thành phần chính bao gồm bộ nhớ ngắn hạn thông qua bộ đệm lịch sử đối thoại và bảng nháp, và bộ nhớ dài hạn để lưu giữ và cá nhân hóa.
Các kỹ thuật triển khai:
- Tạo bộ nhớ tự động: Hệ thống có thể tự độngTạo và lưu trữ bộ nhớ dựa trên tương tác của người dùng.
- Cơ chế phản ánh: Tác nhân có thể tự phản ánh hành vi và kết quả của mình sau khi hoàn thành nhiệm vụ, tổng hợp các bài học kinh nghiệm vào bộ nhớ mới.
- Tóm tắt đối thoại: Thường xuyên tóm tắt các cuộc trò chuyện trong quá khứ và lưu trữ các bản tóm tắt làm một phần của bộ nhớ dài hạn.
Bộ nhớ có cấu trúc (Đồ thị kiến thức tạm thời): Một kiến trúc bộ nhớ nâng cao hơn không chỉ lưu trữ các sự kiện mà còn cả mối quan hệ giữa các sự kiện và dấu thời gian cho mỗi phần thông tin.
Tạo sinh tăng cường truy xuất (RAG): Nền tảng của kỹ thuật ngữ cảnh
RAG là một kỹ thuật cốt lõi để "chọn" kiến thức bên ngoài trong kỹ thuật ngữ cảnh, kết nối LLMs với các cơ sở kiến thức bên ngoài. Một hệ thống RAG điển hình có ba giai đoạn:
- Lập chỉ mục: Các tài liệu được chia thành các đoạn ngữ nghĩa, sau đó được chuyển đổi thành các vectơ chiều cao bằng mô hình nhúng. Các vectơ này và văn bản nguồn được lưu trữ trong cơ sở dữ liệu vectơ.
- Truy xuất: Người dùng chuyển đổi truy vấn thành vectơ bằng cùng mô hình nhúng và tìm kiếm cơ sở dữ liệu vectơ cho các vectơ gần khác có các truy vấn tương tự.
- Tạo: Hệ thống kết hợp truy vấn gốc và các đoạn văn bản liên quan thành một lời nhắc, sau đó gửi nó đến LLM để tạo ra câu trả lời phù hợp.
Các chiến lược truy xuất và xếp hạng nâng cao
Kiến trúc RAG cơ bản thường cần các chiến lược phức tạp hơn để cải thiện chất lượng truy xuất trong thế giới thực. Kết hợp tìm kiếm ngữ nghĩa với lập chỉ mục và xếp hạng từ khóa là rất quan trọng để cải thiện chất lượng tìm kiếm. Truy xuất thông tin theo ngữ cảnh của Anthropic sẽ cải thiện ngữ cảnh của LLMs.
- Tìm kiếm kết hợp: Kết hợp tìm kiếm ngữ nghĩa (dựa trên vectơ) và tìm kiếm từ khóa để tận dụng các điểm mạnh bổ sung.
- Truy xuất theo ngữ cảnh: Sử dụng LLM để tạo ra một bản tóm tắt ngắn gọn về ngữ cảnh của mỗi khối văn bản.
- Xếp hạng lại: Thêm một bước xếp hạng lại, sử dụng mô hình mạnh hơn để sắp xếp lại kết quả dựa trên mức độ liên quan.
RAG so với tinh chỉnh: Một framework quyết định chiến lược
Chọn giữa RAG và tinh chỉnh là một quyết định quan trọng. Sự lựa chọn phụ thuộc vào các yêu cầu của dự án.
Ưu điểm của RAG:
- Phù hợp để tích hợp kiến thức thời gian thực
- Giảm thiểu ảo giác bằng cách cung cấp các sự kiện có thể xác minh
- Cho phép các doanh nghiệp giữ dữ liệu độc quyền trong cơ sở dữ liệu nội bộ an toàn
Ưu điểm của tinh chỉnh:
- Tốt nhất để dạy mô hình một hành vi, phong cách nói hoặc thuật ngữ chuyên biệt mới
- Có thể điều chỉnh đầu ra của mô hình phù hợp với hình ảnh thương hiệu của tổ chức
Các cách tiếp cận kết hợp: Để có được hiệu suất tốt nhất với các mô hình, bạn nên sử dụng cả tinh chỉnh để có hiệu suất và RAG để có độ chính xác.
Tối ưu hóa và lọc ngữ cảnh
Ngay cả bằng cách sử dụng các cơ chế truy xuất mạnh mẽ, quản lý cửa sổ ngữ cảnh và tránh các lỗi phổ biến, bạn vẫn sẽ gặp phải lỗi.
Các chế độ lỗi phổ biến:
- Ngộ độc ngữ cảnh: khi một lỗi có vẻ thực tế được trình bày, nó sẽ làm hỏng toàn bộ hệ thống từ thời điểm đó trở đi.
- Mất tập trung ngữ cảnh: Các mô hình bị mất tập trung khi được trình bày với thông tin không liên quan.
- Nhầm lẫn ngữ cảnh: Thông tin ngữ cảnh có thể quá tải với mô hình khiến nó rời xa câu trả lời chính xác.
- Xung đột ngữ cảnh: Các mô hình bị nhầm lẫn với thông tin mâu thuẫn và có thể đưa ra một câu trả lời mâu thuẫn.
Các giải pháp:
Các kỹ sư cần áp dụng các kỹ thuật lọc để giảm thiểu những thất bại này. Đảm bảo bộ nhớ làm việc của mô hình chứa đầy thông tin có liên quan cao và được tối ưu hóa hoàn toàn trở nên cần thiết cho thực hành và lý thuyết.
Kỹ thuật ngữ cảnh trong thực tế: Nghiên cứu điển hình
Phân tích các ứng dụng khác nhau cung cấp một sự hiểu biết sâu sắc hơn về giá trị và việc triển khai kỹ thuật ngữ cảnh.
Trợ lý lập trình AI
- Vấn đề: Các nỗ lực ban đầu tại lập trình AI thường hỗn loạn, dựa trên các lời nhắc mơ hồ với ít hiểu biết về cơ sở mã lớn hơn.
- Giải pháp: Xem xét tài liệu dự án, hướng dẫn mã, mẫu thiết kế và yêu cầu như bất kỳ tài sản kỹ thuật nào.
Tìm kiếm và quản lý kiến thức doanh nghiệp
- Vấn đề: Các công cụ tìm kiếm doanh nghiệp truyền thống dựa vào đối sánh từ khóa, không hiểu ý định của người dùng, vai trò công việc hoặc lý do tìm kiếm của họ.
- Giải pháp: Xây dựng các hệ thống tìm kiếm thông minh sử dụng ngữ cảnh để hiểu từng tìm kiếm.
Hỗ trợ khách hàng tự động
- Vấn đề: Các LLM chung không nhận biết được các chi tiết cụ thể về sản phẩm, chính sách hoàn trả hoặc lịch sử khách hàng, dẫn đến các phản hồi không chính xác hoặc không hữu ích.
- Giải pháp: Sử dụng chatbot dựa trên RAG, các hệ thống truy xuất thông tin từ cơ sở kiến thức của công ty, để đảm bảo hỗ trợ chính xác, cá nhân hóa và cập nhật.
Công cụ đề xuất được cá nhân hóa
- Vấn đề: Các hệ thống đề xuất truyền thống gặp khó khăn trong việc nắm bắt ý định cụ thể, ngay lập tức của người dùng, dẫn đến các đề xuất chung chung.
- Giải pháp: Kỹ thuật ngữ cảnh sử dụng RAG để làm cho trải nghiệm đàm thoại hơn.
Giảm thiểu các thiếu sót cơ bản của các mô hình ngôn ngữ lớn
Kỹ thuật ngữ cảnh là một phương tiện quan trọng để giải quyết hai thiếu sót LLM cơ bản: ảo giác và cắt bỏ kiến thức.
Chống lại ảo giác
Vấn đề: Khi LLMs không chắc chắn hoặc thiếu kiến thức liên quan, chúng có xu hướng tạo ra thông tin hợp lý nhưng không đúng sự thật.
Giải pháp: Kỹ thuật ngữ cảnh, đặc biệt là RAG, là các chiến lược hiệu quả nhất.
- Cung cấp cơ sở thực tế: Bằng cách cung cấp các tài liệu có thể xác minh từ một nguồn đáng tin cậy trong khi trả lời, có thể tránh được ảo giác một cách hiệu quả.
- Tính trung thực "Tôi không biết.": Để minh bạch, chỉ báo cho các mô hình hiển thị "Tôi không biết" khi không có thông tin.