WaveForms AI, startup do cựu trưởng nhóm giọng nói nâng cao của OpenAI sáng lập, đã gọi vốn thành công 40 triệu USD để phát triển mô hình ngôn ngữ lớn (LLM) âm thanh, hướng đến trí tuệ nhân tạo (AI) có khả năng thấu cảm và hiểu cảm xúc.
Moonshot AI đã ra mắt Kimi k1.5, một mô hình AI đa phương thức có hiệu suất sánh ngang với OpenAI o1, đánh dấu bước tiến lớn trong lĩnh vực AI. Mô hình này vượt trội ở nhiều lĩnh vực như toán học, lập trình và suy luận đa phương thức, đặc biệt phiên bản short-CoT còn vượt trội hơn cả GPT-4o và Claude 3.5 Sonnet. Sự phát triển này thể hiện tiềm năng của đổi mới trong nước và tinh thần hợp tác trong cộng đồng AI.
OpenAI chuẩn bị giới thiệu siêu AI Agent cấp tiến sĩ, gây lo ngại về việc thay thế kỹ sư phần mềm. Các công ty như Meta và Salesforce cũng đang chuyển hướng sang sử dụng AI, dẫn đến cắt giảm nhân sự và thay đổi chiến lược tuyển dụng. Siêu AI Agent có khả năng tự chủ giải quyết các vấn đề phức tạp, sử dụng học máy, xử lý ngôn ngữ tự nhiên và mô hình hóa hệ thống phức tạp.
Bài viết này làm nổi bật bước tiến đáng kể của OpenAI trong việc phát triển AI Agent thời gian thực chỉ trong 20 phút. Công nghệ này mang lại hiệu quả cao, tương tác dữ liệu nhanh chóng, và khả năng tùy biến linh hoạt, mở ra tiềm năng lớn cho các ứng dụng AI.
Nghiên cứu mới khám phá việc mở rộng suy diễn trong mô hình khuếch tán, tương tự như LLM, bằng cách tăng cường tính toán trong quá trình suy diễn để cải thiện chất lượng mẫu. Sử dụng một framework tìm kiếm tổng quát, nghiên cứu tập trung vào việc tìm kiếm nhiễu tối ưu, sử dụng các bộ xác minh và thuật toán khác nhau. Kết quả cho thấy việc mở rộng suy diễn có hiệu quả, đặc biệt khi kết hợp bộ xác minh và thuật toán phù hợp, có thể vượt trội hơn cả các mô hình lớn hơn. Nghiên cứu này cũng xem xét hiệu quả của việc đầu tư vào tính toán suy diễn trên các mô hình nhỏ hơn và trong các tác vụ văn bản thành hình ảnh.
Thế giới công nghệ đang xôn xao trước thông tin OpenAI sắp ra mắt o3-mini, phiên bản rút gọn của mô hình lớn hơn, có thể truy cập qua API và giao diện web. Sam Altman cho biết o3-mini sẽ có ba phiên bản: cao, trung bình và thấp. Mặc dù không vượt trội về hiệu suất so với o1-pro, o3-mini hứa hẹn tốc độ nhanh hơn, đặc biệt trong các tác vụ lập trình. Mô hình o3 đầy đủ sẽ mạnh mẽ hơn o1-pro và o3-pro, dự kiến dành cho người dùng trả phí. Về AGI, Altman khẳng định cần 872 megawatt điện để đạt được. Hiện tại, mức tiêu thụ điện của AI đang tiến gần đến con số đó, gợi ý rằng OpenAI có thể đã phát triển các mô hình thế hệ tiếp theo, thậm chí có thể đạt được AGI.
Bài báo giới thiệu cơ chế attention mới, Multi-matrix Factorization Attention (MFA) và biến thể MFA-Key-Reuse (MFA-KR), giúp giảm đáng kể chi phí suy luận của mô hình ngôn ngữ lớn. MFA không chỉ vượt trội MLA về hiệu suất mà còn tương đương MHA truyền thống, đồng thời giảm sử dụng KV Cache đến 93.7%. MFA được thiết kế đơn giản, dễ tái tạo, ít nhạy cảm với siêu tham số và tương thích với nhiều phương pháp Pos-embedding.
ESM3 của Evolutionaryscale là mô hình sinh học đột phá với 98 tỷ tham số, mô phỏng 5 nghìn tỷ năm tiến hóa, cung cấp API miễn phí, được Yann LeCun đánh giá cao, mở ra tiềm năng lớn trong y học và kỹ thuật protein.
Microsoft giới thiệu MatterGen, một mô hình ngôn ngữ lớn đột phá được thiết kế để tạo ra vật liệu vô cơ, tăng gấp đôi tỷ lệ vật liệu ổn định, độc đáo và mới lạ so với phương pháp truyền thống, đồng thời giúp cấu trúc gần hơn 10 lần với mức năng lượng tối thiểu DFT. MatterGen có tiềm năng ứng dụng trong pin, chất bán dẫn và giải quyết các thách thức toàn cầu.
Một nghiên cứu gần đây của Đại học Stanford và UC Berkeley đã chỉ ra sự biến động đáng kể trong hiệu suất của GPT-3.5 và GPT-4 trong vòng ba tháng, đặc biệt là trong các nhiệm vụ như giải toán, tạo mã và tuân thủ hướng dẫn. Nghiên cứu này nhấn mạnh sự cần thiết phải theo dõi và hiểu rõ hơn về sự thay đổi hành vi của các mô hình AI.
