Một nghiên cứu gần đây cho thấy các mô hình AI hàng đầu như GPT-4, Llama và Gemini gặp khó khăn trong việc hiểu biết lịch sử thế giới, chỉ trả lời đúng 46% câu hỏi. Điều này đặt ra những lo ngại về độ tin cậy của AI trong các lĩnh vực đòi hỏi kiến thức lịch sử sâu rộng, đồng thời nhấn mạnh sự cần thiết phải cải thiện khả năng xử lý thông tin lịch sử của AI.
Nghiên cứu mới khám phá việc mở rộng suy diễn trong mô hình khuếch tán, tương tự như LLM, bằng cách tăng cường tính toán trong quá trình suy diễn để cải thiện chất lượng mẫu. Sử dụng một framework tìm kiếm tổng quát, nghiên cứu tập trung vào việc tìm kiếm nhiễu tối ưu, sử dụng các bộ xác minh và thuật toán khác nhau. Kết quả cho thấy việc mở rộng suy diễn có hiệu quả, đặc biệt khi kết hợp bộ xác minh và thuật toán phù hợp, có thể vượt trội hơn cả các mô hình lớn hơn. Nghiên cứu này cũng xem xét hiệu quả của việc đầu tư vào tính toán suy diễn trên các mô hình nhỏ hơn và trong các tác vụ văn bản thành hình ảnh.
Bài báo giới thiệu cơ chế attention mới, Multi-matrix Factorization Attention (MFA) và biến thể MFA-Key-Reuse (MFA-KR), giúp giảm đáng kể chi phí suy luận của mô hình ngôn ngữ lớn. MFA không chỉ vượt trội MLA về hiệu suất mà còn tương đương MHA truyền thống, đồng thời giảm sử dụng KV Cache đến 93.7%. MFA được thiết kế đơn giản, dễ tái tạo, ít nhạy cảm với siêu tham số và tương thích với nhiều phương pháp Pos-embedding.
ESM3 của Evolutionaryscale là mô hình sinh học đột phá với 98 tỷ tham số, mô phỏng 5 nghìn tỷ năm tiến hóa, cung cấp API miễn phí, được Yann LeCun đánh giá cao, mở ra tiềm năng lớn trong y học và kỹ thuật protein.
