Статията подчертава значителен напредък: пускането от OpenAI на AI агент в реално време, който може да бъде разработен само за 20 минути. Този пробив демонстрира потенциала за високоефективна разработка в областта на приложенията, задвижвани от AI.
В статията се представя нов механизъм за внимание, наречен Multi-matrix Factorization Attention (MFA), който значително намалява потреблението на памет при извод на големи езикови модели (LLM). MFA превъзхожда MLA по производителност и се доближава до MHA, като същевременно намалява използването на KV кеша до 93.7%. Механизмът е проектиран за простота, лесна възпроизводимост и съвместимост с различни методи за позиционно вграждане. Изследването анализира общия дизайн на механизмите за внимание и идентифицира ключови измерения, свързани с капацитета. MFA постига по-високи стойности на TER и SLSD в сравнение с MQA и MLA. Експерименталните резултати показват, че MFA поддържа отлична производителност дори при по-големи мащаби, като същевременно осигурява значителни икономии на памет.
ESM3 е биологичен модел с 98 милиарда параметри, който революционизира разбирането и манипулацията на протеини. Той преобразува 3D структури в дискретен азбучен код, позволявайки едновременна обработка на последователност, структура и функция. С безплатен API и одобрение от Ян ЛеКун, ESM3 обещава значителен напредък в медицинската област.
Microsoft представи MatterGen, новаторски голям езиков модел за създаване на неорганични материали. Той оптимизира атомните видове, координати и периодични решетки, ускорявайки откриването на нови материали. Моделът може да революционизира батерийната технология и да допринесе за разрешаването на глобални предизвикателства.
