Model Kimi k1.5 dari Moonshot AI telah mencapai prestasi yang setanding dengan OpenAI o1, menandakan kemajuan besar dalam AI. Model ini unggul dalam matematik, pengekodan, dan penaakulan multimodal, malah melebihi prestasi model lain dalam beberapa aspek. Dengan pendekatan pembelajaran pengukuhan yang inovatif, Kimi k1.5 menetapkan standard baharu dalam pembangunan AI.
Artikel ini membincangkan kemajuan terkini dalam pembangunan ejen AI masa nyata oleh OpenAI, yang boleh dibangunkan dalam masa 20 minit sahaja. Teknologi ini menekankan kecekapan interaksi data, rangka kerja ejen kolaboratif pelbagai peringkat, dan keupayaan membuat keputusan dipertingkatkan dengan model besar. Ia juga menonjolkan antara muka pengguna, pemantauan terperinci, kebolehpercayaan dan kelajuan pembangunan, yang menunjukkan potensi untuk mengubah landskap pembangunan aplikasi AI.
Artikel ini membincangkan mekanisme perhatian baru, Multi-matrix Factorization Attention (MFA) dan variannya MFA-Key-Reuse (MFA-KR), yang secara signifikan mengurangkan kos inferensi model bahasa sambil meningkatkan prestasi. MFA dan MFA-KR mengatasi MLA dalam prestasi dan menyamai prestasi MHA tradisional sambil mengurangkan penggunaan KV Cache sehingga 93.7%. Mekanisme ini mudah, mudah direproduksi, tidak sensitif terhadap hiperparameter, dan serasi dengan pelbagai kaedah Pos-embedding.
ESM3 Evolutionaryscale, model biologi terkemuka dengan 98 bilion parameter, merevolusikan pemahaman dan manipulasi protein. Dengan API percuma, ia mempercepatkan ramalan protein, mendapat sokongan Yann LeCun, dan menunjukkan kuasa pengiraan yang luar biasa dalam penjanaan protein baru.
Microsoft telah memperkenalkan MatterGen, model bahasa besar yang inovatif untuk mencipta bahan bukan organik. Model ini, berasaskan seni bina model penyebaran, mampu mengoptimumkan jenis atom, koordinat, dan kekisi berkala. MatterGen berpotensi merevolusikan penemuan bahan dan menangani cabaran global seperti perubahan iklim.
