Các nghiên cứu gần đây đã tiết lộ một xu hướng đáng lo ngại: các mô hình ChatGPT mới hơn đang thể hiện tỷ lệ ảo giác cao hơn so với các phiên bản tiền nhiệm của chúng. Khám phá này đặt ra những câu hỏi quan trọng về sự đánh đổi giữa các khả năng nâng cao và độ tin cậy trong các mô hình ngôn ngữ lớn (LLM). Hãy đi sâu vào chi tiết của những phát hiện này và khám phá những tác động tiềm tàng.
Hiểu Hiện Tượng
Các thử nghiệm nội bộ của OpenAI, như được trình bày chi tiết trong một bài báo gần đây, làm nổi bật sự gia tăng đáng kể về tỷ lệ ảo giác trong các mô hình như o3 và o4-mini. Các mô hình này, được thiết kế với khả năng lý luận nâng cao và đa phương thức, đại diện cho công nghệ AI tiên tiến. Chúng có thể tạo hình ảnh, thực hiện tìm kiếm trên web, tự động hóa các tác vụ, ghi nhớ các cuộc hội thoại trước đây và giải quyết các vấn đề phức tạp. Tuy nhiên, những tiến bộ này dường như phải trả giá.
Để định lượng mức độ của những ảo giác này, OpenAI sử dụng một thử nghiệm cụ thể gọi là PersonQA. Thử nghiệm này bao gồm việc cung cấp cho mô hình một tập hợp các sự kiện về những cá nhân khác nhau và sau đó đặt câu hỏi về những cá nhân đó. Độ chính xác của mô hình sau đó được đánh giá dựa trên khả năng cung cấp câu trả lời chính xác của nó.
Trong các đánh giá trước đây, mô hình o1 đã đạt được tỷ lệ chính xác đáng khen ngợi là 47% với tỷ lệ ảo giác chỉ là 16%. Tuy nhiên, khi o3 và o4-mini được đưa vào cùng một đánh giá, kết quả khác biệt rõ rệt.
Mô hình o4-mini, là một biến thể nhỏ hơn với ít kiến thức về thế giới hơn, dự kiến sẽ thể hiện tỷ lệ ảo giác cao hơn. Tuy nhiên, tỷ lệ thực tế là 48% cao đáng ngạc nhiên, khi xem xét rằng o4-mini là một sản phẩm thương mại có sẵn được sử dụng rộng rãi để tìm kiếm trên web và truy xuất thông tin.
Mô hình o3 kích thước đầy đủ cũng cho thấy xu hướng đáng lo ngại là ảo giác. Trong 33% phản hồi của nó, mô hình đã tạo ra thông tin, tăng gấp đôi tỷ lệ ảo giác của mô hình o1. Mặc dù vậy, o3 cũng đạt được tỷ lệ chính xác cao, mà OpenAI cho là do xu hướng đưa ra nhiều tuyên bố hơn của nó.
Định Nghĩa Ảo Giác
Thuật ngữ ‘ảo giác’, trong bối cảnh AI, đề cập đến xu hướng của một mô hình tạo ra các phản hồi không chính xác hoặc vô nghĩa về mặt thực tế mà không có bất kỳ nguồn hoặc biện minh rõ ràng nào. Đây không chỉ đơn thuần là những sai lầm phát sinh từ dữ liệu xấu hoặc giải thích sai. Thay vào đó, ảo giác đại diện cho một lỗi cơ bản hơn trong quá trình suy luận của mô hình.
Mặc dù thông tin không chính xác chắc chắn có thể bắt nguồn từ nhiều nguồn khác nhau, chẳng hạn như các mục nhập trên Wikipedia hoặc các luồng Reddit, nhưng những trường hợp này giống với các lỗi có thể theo dõi được hơn có thể quy cho các điểm dữ liệu cụ thể. Mặt khác, ảo giác được đặc trưng bởi sự phát minh ra sự kiện của mô hình AI trong những khoảnh khắc không chắc chắn, một hiện tượng mà một số chuyên gia đã gọi là ‘lấp đầy khoảng trống sáng tạo’.
Để minh họa điểm này, hãy xem xét câu hỏi, ‘Có bảy mẫu iPhone 16 nào hiện có sẵn?’ Vì chỉ Apple biết iPhone tiếp theo sẽ là gì, LLM có khả năng cung cấp một số câu trả lời thực tế - và sau đó tạo ra các mẫu bổ sung để hoàn thành công việc. Đây là một ví dụ rõ ràng về ảo giác, nơi mô hình tạo ra thông tin để hoàn thành nhiệm vụ, hoặc những gì được gọi là ‘lấp đầy khoảng trống sáng tạo’.
Vai Trò của Dữ Liệu Huấn Luyện
Các chatbot như ChatGPT được đào tạo trên lượng lớn dữ liệu internet. Dữ liệu này cung cấp thông tin cho nội dung phản hồi của chúng mà còn định hình cách chúng phản hồi. Các mô hình được tiếp xúc với vô số ví dụ về các truy vấn và các phản hồi lý tưởng phù hợp, điều này củng cố các tông màu, thái độ và mức độ lịch sự cụ thể.
Quá trình đào tạo này có thể vô tình góp phần vào vấn đề ảo giác. Các mô hình được khuyến khích cung cấp các phản hồi tự tin giải quyết trực tiếp câu hỏi. Điều này có thể khiến chúng ưu tiên trả lời câu hỏi, ngay cả khi chúng phải phát minh ra thông tin để làm như vậy, thay vì thừa nhận rằng chúng không biết câu trả lời.
Về bản chất, quá trình đào tạo có thể vô tình thưởng cho các phản hồi tự tin và có vẻ hiểu biết, ngay cả khi chúng không chính xác về mặt thực tế. Điều này có thể tạo ra một sự thiên vị đối với việc tạo ra câu trả lời, bất kể độ chính xác của chúng, điều này có thể làm trầm trọng thêm vấn đề ảo giác.
Bản Chất của Lỗi AI
Thật hấp dẫn khi vẽ ra sự tương đồng giữa lỗi AI và lỗi của con người. Rốt cuộc, con người không phải là không thể sai lầm và chúng ta cũng không nên mong đợi AI là hoàn hảo. Tuy nhiên, điều quan trọng là phải nhận ra rằng lỗi AI bắt nguồn từ các quy trình cơ bản khác với lỗi của con người.
Các mô hình AI không nói dối, phát triển những hiểu lầm hoặc nhớ sai thông tin theo cách mà con người làm. Chúng thiếu các khả năng nhận thức và nhận thức theo ngữ cảnh làm nền tảng cho suy luận của con người. Thay vào đó, chúng hoạt động dựa trên xác suất, dự đoán từ tiếp theo trong một câu dựa trên các mẫu được quan sát thấy trong dữ liệu đào tạo của chúng.
Cách tiếp cận xác suất này có nghĩa là các mô hình AI không có sự hiểu biết thực sự về độ chính xác hoặc không chính xác. Chúng chỉ đơn giản là tạo ra chuỗi từ có khả năng xảy ra nhất dựa trên các mối quan hệ thống kê mà chúng đã học được từ dữ liệu đào tạo của chúng. Điều này có thể dẫn đến việc tạo ra các phản hồi có vẻ mạch lạc nhưng thực tế không chính xác về mặt thực tế.
Mặc dù các mô hình được cung cấp toàn bộ thông tin đáng giá trên internet, nhưng chúng không được cho biết thông tin nào là tốt hay xấu, chính xác hay không chính xác - chúng không được cho biết bất cứ điều gì. Chúng cũng không có kiến thức nền tảng hiện có hoặc một tập hợp các nguyên tắc cơ bản để giúp chúng tự sắp xếp thông tin. Tất cả chỉ là một trò chơi số - các mẫu từ tồn tại thường xuyên nhất trong một ngữ cảnh nhất định trở thành ‘sự thật’ của LLM.
Giải Quyết Thách Thức
Tỷ lệ ảo giác ngày càng tăng trong các mô hình AI tiên tiến đặt ra một thách thức đáng kể. OpenAI và các nhà phát triển AI khác đang tích cực làm việc để hiểu và giảm thiểu vấn đề này. Tuy nhiên, các nguyên nhân cơ bản của ảo giác vẫn chưa được hiểu đầy đủ và việc tìm kiếm các giải pháp hiệu quả vẫn là một nỗ lực đang diễn ra.
Một cách tiếp cận tiềm năng là cải thiện chất lượng và sự đa dạng của dữ liệu đào tạo. Bằng cách cho các mô hình tiếp xúc với thông tin chính xác và toàn diện hơn, các nhà phát triển có thể giảm khả năng chúng học và duy trì thông tin sai lệch.
Một cách tiếp cận khác là phát triển các kỹ thuật phức tạp hơn để phát hiện và ngăn chặn ảo giác. Điều này có thể liên quan đến việc đào tạo các mô hình để nhận ra khi chúng không chắc chắn về một thông tin cụ thể và không đưa ra các tuyên bố mà không có đủ bằng chứng.
Trong thời gian chờ đợi, OpenAI có thể cần theo đuổi một giải pháp ngắn hạn cũng như tiếp tục nghiên cứu nguyên nhân gốc rễ của nó. Rốt cuộc, những mô hình này là những sản phẩm kiếm tiền và chúng cần phải ở trong một trạng thái có thể sử dụng được. Một ý tưởng là tạo ra một loại sản phẩm tổng hợp - một giao diện trò chuyện có quyền truy cập vào nhiều mô hình OpenAI khác nhau.
Khi một truy vấn yêu cầu lý luận nâng cao, nó sẽ gọi GPT-4o và khi nó muốn giảm thiểu cơ hội ảo giác, nó sẽ gọi một mô hình cũ hơn như o1. Có lẽ công ty có thể trở nên ưa thích hơn và sử dụng các mô hình khác nhau để chăm sóc các yếu tố khác nhau của một truy vấn duy nhất, và sau đó sử dụng một mô hình bổ sung để ghép tất cả lại với nhau vào cuối. Vì đây về cơ bản sẽ là sự hợp tác giữa nhiều mô hình AI, có lẽ một số loại hệ thống kiểm tra thực tế cũng có thể được triển khai.
Nâng cao tỷ lệ chính xác không phải là mục tiêu chính. Mục tiêu chính là giảm tỷ lệ ảo giác, có nghĩa là chúng ta cần coi trọng các phản hồi nói ‘Tôi không biết’ cũng như các phản hồi có câu trả lời đúng.
Tầm Quan Trọng của Kiểm Tra Thực Tế
Sự phổ biến ngày càng tăng của ảo giác trong các mô hình AI nhấn mạnh tầm quan trọng của việc kiểm tra thực tế. Mặc dù những mô hình này có thể là công cụ có giá trị để truy xuất thông tin và tự động hóa tác vụ, nhưng chúng không nên được coi là nguồn chân lý không thể sai lầm.
Người dùng nên luôn thận trọng khi giải thích đầu ra của các mô hình AI và nên tự xác minh bất kỳ thông tin nào họ nhận được. Điều này đặc biệt quan trọng khi đối phó với các vấn đề nhạy cảm hoặc có hậu quả.
Bằng cách áp dụng một cách tiếp cận phê phán và hoài nghi đối với nội dung do AI tạo ra, chúng ta có thể giảm thiểu rủi ro liên quan đến ảo giác và đảm bảo rằng chúng ta đang đưa ra các quyết định sáng suốt dựa trên thông tin chính xác. Nếu bạn quan tâm đến LLM, không cần phải ngừng sử dụng chúng - nhưng đừng để mong muốn tiết kiệm thời gian chiến thắng nhu cầu kiểm tra thực tế kết quả. Luôn kiểm tra thực tế!
Ý Nghĩa Đối Với Tương Lai Của AI
Thách thức của ảo giác có ý nghĩa quan trọng đối với tương lai của AI. Khi các mô hình AI ngày càng được tích hợp vào cuộc sống của chúng ta, điều cần thiết là chúng phải đáng tin cậy và đáng tin cậy. Nếu các mô hình AI có xu hướng tạo ra thông tin sai lệch hoặc gây hiểu lầm, nó có thể làm xói mòn lòng tin của công chúng và cản trở việc áp dụng rộng rãi của chúng.
Giải quyết vấn đề ảo giác không chỉ rất quan trọng để cải thiện độ chính xác của các mô hình AI mà còn để đảm bảo việc sử dụng chúng một cách đạo đức và có trách nhiệm. Bằng cách phát triển các hệ thống AI ít có khả năng ảo giác hơn, chúng ta có thể khai thác tiềm năng của chúng vì lợi ích đồng thời giảm thiểu rủi ro thông tin sai lệch và lừa dối.