Kimi-VL da Moonshot AI é um modelo de IA open-source que processa imagens, texto e vídeo de forma eficiente. Com uma arquitetura MoE e 128.000 tokens de contexto, supera modelos maiores em benchmarks, automatizando tarefas e entendendo interfaces de usuário.
Kimi-VL da Moonshot AI é um modelo de IA eficiente que processa texto, imagens e vídeos. Destaca-se pela capacidade de lidar com documentos longos e entender interfaces de usuário.
Pesquisadores introduzem Muon um otimizador e Moonlight um modelo de linguagem. Ambos otimizam o treinamento de modelos de linguagem em larga escala com técnicas eficientes reduzindo o custo computacional e superando modelos anteriores.
Kimi da Moonshot AI revela o modelo Moonlight MoE com 30B/160B parâmetros, treinado com o otimizador Muon em 57 trilhões de tokens. Ele alcança eficiência Pareto superior, superando modelos anteriores com menos FLOPs. O Muon, de código aberto, dobra a eficiência computacional do AdamW, promovendo o desenvolvimento de IA sustentável e acessível.
O modelo Kimi k1.5 da Moonshot AI alcança desempenho comparável ao OpenAI o1, destacando-se em matemática, codificação e raciocínio multimodal. Sua variante short-CoT supera GPT-4o e Claude 3.5 Sonnet, demonstrando inovação e potencial para a inteligência artificial geral.
