WaveForms AI, startup audio model yang didirikan oleh mantan pemimpin mode suara canggih di OpenAI, Alexis Conneau, berhasil mengumpulkan pendanaan awal sebesar 40 juta dolar. Mereka berfokus pada pengembangan audio LLM yang lebih empatik dan cerdas secara emosional, dengan tujuan menciptakan Emotional General Intelligence (EGI).
Model Kimi k1.5 dari Moonshot AI menunjukkan performa setara OpenAI o1, menandai kemajuan signifikan dalam AI. Model ini unggul dalam matematika, coding, dan penalaran multimodal, bahkan melampaui GPT-4o dan Claude 3.5 Sonnet dalam mode short-CoT. Pengembangan ini menekankan inovasi domestik dan semangat kolaborasi dalam komunitas AI.
OpenAI akan merilis agen AI super tingkat doktor yang berpotensi menggantikan insinyur perangkat lunak tingkat menengah. Perusahaan seperti Meta dan Salesforce juga mengadopsi AI, menyebabkan PHK dan perubahan strategi perekrutan.
Artikel ini menyoroti kemajuan signifikan dalam pengembangan agen AI real-time oleh OpenAI yang dapat dikembangkan hanya dalam 20 menit. Teknologi ini menunjukkan potensi efisiensi tinggi dalam aplikasi bertenaga AI, dengan interaksi data yang efisien, kerangka kerja agen kolaboratif multi-level, dan penanganan tugas yang fleksibel.
Penelitian terbaru menunjukkan bahwa peningkatan komputasi selama inferensi dapat meningkatkan kualitas sampel yang dihasilkan pada model difusi. Kerangka kerja yang diusulkan berfokus pada pencarian kebisingan sampling optimal melalui penggunaan verifikator dan algoritma pencarian yang berbeda. Hasilnya menunjukkan bahwa penskalaan inferensi efektif, dan kombinasi komponen yang fleksibel dapat disesuaikan untuk berbagai aplikasi. Algoritma pencarian yang lebih canggih, seperti Zero-Order dan Path Search, membantu mengurangi 'verifier hacking' dan meningkatkan kualitas sampel, bahkan dengan model yang lebih kecil. Selain itu, metode ini kompatibel dengan model yang disetel dengan baik dan dapat meningkatkan kinerja model yang sudah selaras.
Dunia teknologi sedang ramai dengan peluncuran o3-mini dari OpenAI yang akan hadir dalam beberapa minggu. CEO OpenAI Sam Altman mengkonfirmasi hal ini, dengan tiga versi (tinggi, menengah, rendah) yang akan dirilis. o3-mini tidak akan melampaui performa o1-pro tetapi akan menawarkan kecepatan yang lebih baik. Model o3 lengkap akan jauh lebih canggih dari o1-pro. Altman juga membahas tentang AGI, yang membutuhkan 872 megawatt daya komputasi.
Artikel ini membahas tentang mekanisme perhatian baru, Multi-matrix Factorization Attention (MFA), yang secara signifikan mengurangi penggunaan memori KV cache pada Large Language Models (LLM) tanpa mengorbankan kinerja. MFA dan variannya, MFA-KR, melampaui MLA dan setara dengan MHA tradisional dengan penghematan memori hingga 93.7%. MFA dirancang agar sederhana, mudah direproduksi, dan kompatibel dengan berbagai metode Pos-embedding, menjadikannya solusi efektif untuk mengatasi hambatan memori dalam inferensi LLM.
Evolutionaryscale's ESM3, model biologis dengan 98 miliar parameter, merevolusi pemahaman dan manipulasi protein. ESM3 mengubah struktur dan fungsi 3D protein menjadi alfabet diskrit, memungkinkan pemrosesan simultan urutan, struktur, dan fungsi protein. API ESM3 gratis kini tersedia, didukung oleh Yann LeCun, dan model ini memiliki potensi besar dalam bidang medis.
Microsoft telah memperkenalkan MatterGen, model bahasa besar revolusioner yang dirancang untuk menciptakan material anorganik. Model ini secara signifikan meningkatkan proporsi material stabil dan unik yang dihasilkan, dan juga menghasilkan struktur yang sepuluh kali lebih dekat dengan minimum energi lokal DFT.
Sebuah studi dari Stanford dan UC Berkeley menunjukkan fluktuasi signifikan dalam kinerja GPT-3.5 dan GPT-4 selama tiga bulan, dengan penurunan akurasi dalam beberapa tugas dan perubahan dalam kepatuhan terhadap instruksi.
