Step1X-Edit: โมเดลแก้ไขภาพโอเพนซอร์สล้ำสมัย
Step1X-Edit คือโมเดลโอเพนซอร์สแก้ไขภาพที่ล้ำสมัย พัฒนาโดย StepFun มีความสามารถในการวิเคราะห์ความหมายที่แม่นยำ รักษาเอกลักษณ์ และควบคุมระดับภูมิภาคได้อย่างแม่นยำ รองรับงานแก้ไขภาพ 11 ประเภท
Tag: Stepfun
ลดปัญหา KV Cache ใน LLM ด้วยกลไก Attention ใหม่
การใช้ Large Language Models (LLMs) ที่เพิ่มขึ้นทำให้เกิดความท้าทายในการอนุมานขนาดใหญ่ กลไก Attention แบบดั้งเดิมมีปัญหาคอขวดที่ KV Cache ซึ่งขยายตามขนาด Batch และความยาวลำดับ ทำให้เกิดปัญหา 'memory hog' MFA และ MFA-KR เป็นกลไก Attention ใหม่ที่ลดต้นทุนการอนุมานของโมเดลภาษา พร้อมปรับปรุงประสิทธิภาพ ลดการใช้ KV Cache ได้ถึง 93.7% ออกแบบให้เรียบง่าย ทำซ้ำได้ง่าย และเข้ากันได้กับวิธี Pos-embedding ต่างๆ