StepFun: Bintang AI China yang Meningkat Naik
StepFun, syarikat Kecerdasan Buatan yang berpangkalan di Shanghai, berkembang maju sebagai peneraju AI di China. Keupayaan inovatif Step-Video-T2V dengan model AI teks-ke-video yang realistik.
Tag: Stepfun
Step1X-Edit: Model Suntingan Imej Sumber Terbuka
Step1X-Edit ialah model sumber terbuka untuk suntingan imej dengan prestasi SOTA, menggabungkan MLLM dan model Difusi untuk ketepatan dan kualiti imej yang tinggi.
Mekanisme Perhatian Baru Mengurangkan KV Cache
Artikel ini membincangkan mekanisme perhatian baru, Multi-matrix Factorization Attention (MFA) dan variannya MFA-Key-Reuse (MFA-KR), yang secara signifikan mengurangkan kos inferensi model bahasa sambil meningkatkan prestasi. MFA dan MFA-KR mengatasi MLA dalam prestasi dan menyamai prestasi MHA tradisional sambil mengurangkan penggunaan KV Cache sehingga 93.7%. Mekanisme ini mudah, mudah direproduksi, tidak sensitif terhadap hiperparameter, dan serasi dengan pelbagai kaedah Pos-embedding.