Muon et Moonlight Optimisation LLM
Moonshot AI présente Muon et Moonlight optimisant l'entraînement des grands modèles de langage avec des techniques efficaces réduisant les coûts et améliorant les performances
Tag: Moonshot
Kimi Open Source Moonlight Modèle Hybride
Kimi de Moonshot AI dévoile Moonlight un modèle MoE de 30/160 milliards de paramètres entraîné avec l'optimiseur Muon sur 57 billions de jetons pour une efficacité Pareto supérieure et une formation LLM optimisée.
Kimi k1.5 rivalise avec OpenAI o1 : une avancée majeure en IA multimodale
Le modèle Kimi k1.5 de Moonshot AI rivalise avec OpenAI o1, surpassant même GPT-4o et Claude 3.5 Sonnet en raisonnement court. Cette avancée marque un tournant dans l'IA multimodale, grâce à une approche innovante d'apprentissage par renforcement et une transparence accrue.