StepFun и конкуренция в области ИИ: Китай и США
Обзор StepFun, китайской компании в области ИИ, конкуренции между Китаем и США в технологической сфере, геополитической стратегии Китая и усилий США по сохранению технологического лидерства.
Tag: Stepfun
Step1X-Edit: Модель редактирования с открытым кодом
Step1X-Edit - модель редактирования изображений с открытым исходным кодом, разработанная StepFun, достигает SOTA производительности. Она обеспечивает точный семантический анализ, сохранение идентичности и управление на уровне регионов.
Новый механизм внимания Step-снижение KV-кэша
В статье рассматривается новый механизм внимания Multi-matrix Factorization Attention (MFA) и его вариант MFA-Key-Reuse (MFA-KR), разработанные для снижения затрат на вывод больших языковых моделей (LLM). MFA превосходит MLA по производительности, соответствует MHA, снижая использование KV-кэша до 93.7%. MFA отличается простотой, легкостью воспроизведения и совместимостью. Исследование включает анализ производительности, сравнение с MQA и MLA, и экспериментальные результаты, демонстрирующие масштабируемость и экономию памяти.