StepFun: Ngôi Sao AI Mới Nổi của Trung Quốc
StepFun, một công ty AI có trụ sở tại Thượng Hải, đang nhanh chóng được công nhận là một trong những "hổ AI" hàng đầu của Trung Quốc, với khả năng xử lý văn bản, video và hình ảnh.
Tag: Stepfun
Step1X-Edit: Mô Hình Chỉnh Sửa Ảnh Nguồn Mở Đột Phá
Step1X-Edit là mô hình chỉnh sửa ảnh nguồn mở SOTA với 19 tỷ tham số. Nó vượt trội về phân tích ngữ nghĩa, duy trì nhất quán và kiểm soát vùng chính xác.
Cơ chế Attention Mới Giảm Bộ Nhớ KV Cache Cho Mô Hình Ngôn Ngữ Lớn
Bài báo giới thiệu cơ chế attention mới, Multi-matrix Factorization Attention (MFA) và biến thể MFA-Key-Reuse (MFA-KR), giúp giảm đáng kể chi phí suy luận của mô hình ngôn ngữ lớn. MFA không chỉ vượt trội MLA về hiệu suất mà còn tương đương MHA truyền thống, đồng thời giảm sử dụng KV Cache đến 93.7%. MFA được thiết kế đơn giản, dễ tái tạo, ít nhạy cảm với siêu tham số và tương thích với nhiều phương pháp Pos-embedding.