Triomphe Open Source : RISC-V et IA
L'architecture informatique open-source RISC-V pourrait être le partenaire idéal pour l'IA open-source. Xuantie d'Alibaba combine haute performance et IA, menant la communauté internationale open-source.
Tag: AIGC
Lunettes RA de Rokid : l'IA d'entreprise
Rokid, un fabricant chinois de lunettes de réalité augmentée (RA) alimentées par l'IA, fait des vagues. L'intégration des grands modèles de langage (LLM) d'Alibaba, Qwen, offre des fonctionnalités d'IA avancées dans un format portable, démontrant le potentiel de la RA dans les applications professionnelles et l'ambition de la Chine en matière d'IA.
Sopra Steria et Mistral AI : alliance IA
Sopra Steria et Mistral AI s'associent pour proposer des solutions d'IA générative souveraines et industrialisées, adaptées aux besoins des grandes entreprises et administrations européennes. Ce partenariat combine l'expertise de Sopra Steria en intégration de systèmes et celle de Mistral AI en modèles d'IA performants, pour une adoption accélérée et sécurisée de l'IA générative en Europe.
Muon et Moonlight Optimisation LLM
Moonshot AI présente Muon et Moonlight optimisant l'entraînement des grands modèles de langage avec des techniques efficaces réduisant les coûts et améliorant les performances
Kimi Open Source Moonlight Modèle Hybride
Kimi de Moonshot AI dévoile Moonlight un modèle MoE de 30/160 milliards de paramètres entraîné avec l'optimiseur Muon sur 57 billions de jetons pour une efficacité Pareto supérieure et une formation LLM optimisée.
Baichuan M1 Modèles Langage Médicaux
Baichuan M1 une série de modèles linguistiques vastes axés sur la médecine formés sur 20T tokens pour améliorer les capacités médicales
L'IA et l'Histoire Mondiale : Une Étude Révèle des Lacunes
Une étude récente du Complexity Science Hub (CSH) révèle que les modèles d'IA, même les plus avancés comme GPT-4, ont des difficultés avec l'histoire mondiale, répondant correctement à seulement 46% des questions. Cela soulève des inquiétudes quant à leur fiabilité dans des domaines nécessitant une compréhension solide du passé.
Échelonnage de l'inférence des modèles de diffusion un nouveau paradigme
Cette étude explore l'échelonnage de l'inférence dans les modèles de diffusion, révélant que l'augmentation des ressources de calcul améliore la qualité des échantillons. Elle introduit un cadre de recherche avec des vérificateurs et des algorithmes pour optimiser le bruit d'échantillonnage, et démontre que des modèles plus petits avec recherche peuvent surpasser des modèles plus grands sans recherche.
Mécanisme d'Attention Innovant Réduction du Cache KV
Cet article explore le Multi-matrix Factorization Attention (MFA), une nouvelle architecture d'attention qui réduit considérablement l'utilisation du cache KV dans les grands modèles de langage (LLM), tout en améliorant les performances par rapport aux approches traditionnelles et aux alternatives telles que MQA et MLA. MFA, avec sa variante MFA-KR, offre une solution plus efficace et moins gourmande en mémoire pour l'inférence à grande échelle des LLM.
ESM3 d'Evolutionaryscale Révolutionne la Recherche sur les Protéines
ESM3 d'Evolutionaryscale est un modèle biologique révolutionnaire avec 98 milliards de paramètres, transformant la compréhension et la manipulation des protéines. Son API gratuite accélère la recherche, saluée par Yann LeCun. ESM3 simule l'évolution protéique sur des milliards d'années, ouvrant des perspectives médicales majeures.