Pesquisadores introduzem Muon um otimizador e Moonlight um modelo de linguagem. Ambos otimizam o treinamento de modelos de linguagem em larga escala com técnicas eficientes reduzindo o custo computacional e superando modelos anteriores.
Kimi da Moonshot AI revela o modelo Moonlight MoE com 30B/160B parâmetros, treinado com o otimizador Muon em 57 trilhões de tokens. Ele alcança eficiência Pareto superior, superando modelos anteriores com menos FLOPs. O Muon, de código aberto, dobra a eficiência computacional do AdamW, promovendo o desenvolvimento de IA sustentável e acessível.
O modelo Kimi k1.5 da Moonshot AI alcança desempenho comparável ao OpenAI o1, destacando-se em matemática, codificação e raciocínio multimodal. Sua variante short-CoT supera GPT-4o e Claude 3.5 Sonnet, demonstrando inovação e potencial para a inteligência artificial geral.
