Muon và Moonlight tối ưu mô hình lớn
Các nhà nghiên cứu giới thiệu Muon và Moonlight tối ưu hóa mô hình ngôn ngữ lớn với kỹ thuật huấn luyện hiệu quả giảm chi phí tính toán
Tag: Moonshot
Kimi MoE Nguon Mo Tham So Lon
Kimi ra mat mo hinh chuyen gia hon hop Moonlight 30 ty va 160 ty tham so huan luyen tren kien truc Muon voi 57 nghin ty token toi uu hieu suat.
Kimi k1.5: Mô hình AI đa phương thức sánh ngang OpenAI o1
Moonshot AI đã ra mắt Kimi k1.5, một mô hình AI đa phương thức có hiệu suất sánh ngang với OpenAI o1, đánh dấu bước tiến lớn trong lĩnh vực AI. Mô hình này vượt trội ở nhiều lĩnh vực như toán học, lập trình và suy luận đa phương thức, đặc biệt phiên bản short-CoT còn vượt trội hơn cả GPT-4o và Claude 3.5 Sonnet. Sự phát triển này thể hiện tiềm năng của đổi mới trong nước và tinh thần hợp tác trong cộng đồng AI.