Sopra Steria en Mistral AI slaan de handen ineen om geavanceerde, soevereine generatieve AI-oplossingen te leveren. Deze samenwerking is specifiek afgestemd op de behoeften van grote Europese ondernemingen en overheidsinstanties, met een focus op schaalbaarheid, datasoevereiniteit en het benutten van de beste AI-modellen.
Moonshot AI introduceert Muon en Moonlight optimalisatietechnieken voor grootschalige taalmodellen Training is efficiënter minder rekenkracht nodig en betere prestaties
Moonshot AI's Kimi onthult Moonlight een hybride expertmodel met 30 en 160 miljard parameters getraind met de Muon architectuur en 57 biljoen tokens voor superieure prestaties en efficiëntie.
Baichuan-M1 is een reeks grote taalmodellen getraind op 20T tokens, speciaal ontworpen om medische expertise te vergroten en uitdagingen in de gezondheidszorg aan te pakken.
Een recente studie onthult dat AI-modellen, zoals GPT-4, moeite hebben met wereldgeschiedenis, met een nauwkeurigheid van slechts 46%. Dit roept vragen op over hun betrouwbaarheid in sectoren die een diepgaand historisch begrip vereisen. De studie benadrukt de noodzaak van kritisch denken en mediawijsheid in het AI-tijdperk.
Deze studie onderzoekt de effectiviteit van het opschalen van inferentie bij diffusiemodellen, door middel van een zoekframework dat de kwaliteit van gegenereerde samples verbetert door het optimaliseren van ruis tijdens het bemonsteringsproces. Het onderzoek toont aan dat meer computationele middelen tijdens inferentie leiden tot betere samples, en dat verschillende verificatie-algoritme combinaties mogelijk zijn voor diverse toepassingen. Daarnaast suggereert het dat de zoektocht naar betere ruis een nieuwe dimensie biedt voor schaalbaarheid.
Dit artikel bespreekt de Multi-matrix Factorization Attention (MFA) en MFA-Key-Reuse (MFA-KR) mechanismen, die de kosten van taalmodelinferentie aanzienlijk verminderen en tegelijkertijd de prestaties verbeteren. MFA en MFA-KR overtreffen MLA in prestaties en evenaren de traditionele MHA-prestaties, terwijl het KV-cachegebruik met tot wel 93,7% wordt verminderd. Het onderzoek analyseerde de algemene opzet en capaciteit van aandachtmechanismen, wat leidde tot de ontwikkeling van nieuwe analytische methoden en ontwerpprincipes, met als doel een aandachtmechanisme te creëren dat het resourceverbruik minimaliseert en tegelijkertijd de theoretische prestatielimieten benadert.
Evolutionaryscale's ESM3 is een baanbrekend biologisch model met 98 miljard parameters, dat de manier waarop we eiwitten begrijpen en manipuleren verandert. Het model simuleert 5 biljoen jaar evolutie en heeft nu een gratis API voor wetenschappers.
Grok-gebruikers op X stuiten op 'gebruikslimiet' voor Ghibli-stijl afbeeldingen, wat wijst op resourceproblemen zoals bij OpenAI. Dit belicht de hoge kosten van virale AI-trends en mogelijke strategieën voor toegangsbeheer en monetisatie door xAI, vooral voor rekenintensieve artistieke stijlen.
