A Rokid, fabricante chinesa de dispositivos de realidade aumentada (AR), causou impacto com seus óculos com tecnologia de IA. A demonstração do fundador, Misa Zhu Mingming, viralizou, impulsionando o mercado. Os óculos integram-se com os modelos de linguagem da Alibaba, oferecendo aplicações práticas e acessíveis para empresas, destacando o avanço da China em IA.
Sopra Steria e Mistral AI unem forças para fornecer soluções avançadas de IA generativa, industrializadas e soberanas. A parceria visa atender às necessidades de grandes empresas e administrações públicas europeias, combinando a experiência em sistemas de informação da Sopra Steria com a tecnologia de ponta da Mistral AI.
Pesquisadores introduzem Muon um otimizador e Moonlight um modelo de linguagem. Ambos otimizam o treinamento de modelos de linguagem em larga escala com técnicas eficientes reduzindo o custo computacional e superando modelos anteriores.
Kimi da Moonshot AI revela o modelo Moonlight MoE com 30B/160B parâmetros, treinado com o otimizador Muon em 57 trilhões de tokens. Ele alcança eficiência Pareto superior, superando modelos anteriores com menos FLOPs. O Muon, de código aberto, dobra a eficiência computacional do AdamW, promovendo o desenvolvimento de IA sustentável e acessível.
Baichuan-M1 é uma série de modelos de linguagem grandes treinados em 20T tokens focados em aprimorar capacidades médicas. Aborda desafios de dados, arquitetura e treinamento para melhor desempenho em medicina, mantendo habilidades gerais. É um avanço em IA para saúde, promovendo precisão e eficiência no atendimento.
Um estudo recente do Complexity Science Hub (CSH) na Áustria revelou que modelos avançados de IA, como GPT-4, Llama e Gemini, têm dificuldades em compreender a história mundial, acertando apenas 46% das questões históricas. Isso levanta preocupações sobre a confiabilidade da IA em áreas que exigem conhecimento histórico robusto, com implicações em educação, política e outros setores.
Este artigo explora como o escalonamento no tempo de inferência pode melhorar a qualidade das amostras geradas por modelos de difusão. A pesquisa demonstra que, ao alocar mais recursos computacionais durante a inferência e ao buscar ruído ideal, é possível obter resultados superiores. O estudo também investiga diferentes métodos de verificação e algoritmos de busca, bem como sua aplicação em tarefas de texto para imagem.
Este artigo explora o Multi-matrix Factorization Attention (MFA), um mecanismo de atenção inovador que reduz significativamente o uso do cache KV em modelos de linguagem grandes (LLMs), melhorando a eficiência sem comprometer o desempenho. O MFA supera o MLA e iguala o MHA, com economias de memória de até 93,7%. Descubra como o MFA, com seu design simples e compatibilidade, está revolucionando a inferência de LLMs.
O ESM3 da Evolutionaryscale, um modelo biológico com 98 bilhões de parâmetros, representa um avanço significativo na compreensão e manipulação de proteínas. Ele transforma estruturas 3D em sequências de letras, simulando 5 trilhões de anos de evolução. Com API gratuita, o modelo acelera a previsão de proteínas e recebeu elogios de Yann LeCun. Sua capacidade multimodal e modelagem de linguagem mascarada permitem gerar proteínas inéditas com precisão, com aplicações em engenharia de proteínas e quebra de resíduos plásticos, além de gerar proteínas fluorescentes com características únicas.
