Kimi dari Moonshot AI merilis model ahli hibrida 'Moonlight' 30 miliar dan 160 miliar parameter yang dilatih pada arsitektur Muon dengan 57 triliun token mencapai efisiensi Pareto yang unggul dan pengoptimal Muon yang inovatif menggandakan efisiensi komputasi dibandingkan AdamW.
Baichuan-M1 seri model bahasa besar dilatih dengan 20T token fokus pada peningkatan kemampuan medis Model ini unggul dalam tugas umum dan aplikasi medis menawarkan pendekatan baru untuk AI dalam perawatan kesehatan Dilatih dari awal untuk keahlian mendalam menunjukkan kinerja kompetitif dalam pembuatan kode dan penalaran matematika
Sebuah studi baru dari Complexity Science Hub (CSH) Austria mengungkapkan bahwa model kecerdasan buatan (AI) terkemuka seperti GPT-4, Llama, dan Gemini memiliki pemahaman yang buruk tentang sejarah dunia, dengan hanya 46% jawaban yang benar. Studi ini menyoroti bias regional dan kecenderungan untuk mengekstrapolasi daripada memahami konteks sejarah, yang menimbulkan kekhawatiran tentang keandalan AI dalam pendidikan, pembuatan kebijakan, dan sektor lainnya.
Penelitian terbaru menunjukkan bahwa peningkatan komputasi selama inferensi dapat meningkatkan kualitas sampel yang dihasilkan pada model difusi. Kerangka kerja yang diusulkan berfokus pada pencarian kebisingan sampling optimal melalui penggunaan verifikator dan algoritma pencarian yang berbeda. Hasilnya menunjukkan bahwa penskalaan inferensi efektif, dan kombinasi komponen yang fleksibel dapat disesuaikan untuk berbagai aplikasi. Algoritma pencarian yang lebih canggih, seperti Zero-Order dan Path Search, membantu mengurangi 'verifier hacking' dan meningkatkan kualitas sampel, bahkan dengan model yang lebih kecil. Selain itu, metode ini kompatibel dengan model yang disetel dengan baik dan dapat meningkatkan kinerja model yang sudah selaras.
Artikel ini membahas tentang mekanisme perhatian baru, Multi-matrix Factorization Attention (MFA), yang secara signifikan mengurangi penggunaan memori KV cache pada Large Language Models (LLM) tanpa mengorbankan kinerja. MFA dan variannya, MFA-KR, melampaui MLA dan setara dengan MHA tradisional dengan penghematan memori hingga 93.7%. MFA dirancang agar sederhana, mudah direproduksi, dan kompatibel dengan berbagai metode Pos-embedding, menjadikannya solusi efektif untuk mengatasi hambatan memori dalam inferensi LLM.
Evolutionaryscale's ESM3, model biologis dengan 98 miliar parameter, merevolusi pemahaman dan manipulasi protein. ESM3 mengubah struktur dan fungsi 3D protein menjadi alfabet diskrit, memungkinkan pemrosesan simultan urutan, struktur, dan fungsi protein. API ESM3 gratis kini tersedia, didukung oleh Yann LeCun, dan model ini memiliki potensi besar dalam bidang medis.
Amazon menantang dominasi Starlink dengan Project Kuiper, konstelasi satelit LEO miliaran dolar. Memanfaatkan AWS dan sumber daya besar, Kuiper menargetkan pasar telekomunikasi global triliunan dolar, mengatasi hambatan besar untuk membentuk kembali konektivitas global meskipun ada risiko eksekusi yang signifikan.
Alibaba dan SAP memperdalam kemitraan AI untuk solusi perusahaan di China dan Asia Tenggara. Integrasi AI generatif meningkatkan produktivitas dan pengambilan keputusan.
