WaveForms AI, стартъп, основан от бивш ръководител на OpenAI, събра 40 милиона долара за разработване на аудио LLM с емоционална интелигентност. Компанията се стреми към създаване на Емоционален Общ Интелект (EGI), като обработва аудио директно, а не чрез преобразуване в текст. Това е значителна стъпка към по-човешки и емпатични AI взаимодействия.
Моделът Kimi k1.5 на Moonshot AI постига производителност, сравнима с OpenAI o1, особено в области като математика, кодиране и мултимодално разсъждение. Kimi-k1.5-short превъзхожда GPT-4o и Claude 3.5 Sonnet с 550% в кратки вериги на мисълта. Moonshot AI споделя техническия си доклад, насърчавайки сътрудничеството в AI общността.
OpenAI планира да представи супер AI агент на докторско ниво, което предизвиква безпокойство сред софтуерните инженери. Meta и Salesforce вече предприемат стъпки за намаляване на работната сила в тази област, като се възползват от AI агенти за повишаване на производителността. Тези агенти, базирани на машинно обучение и обработка на естествен език, могат да решават сложни проблеми и да автоматизират процеси, което води до значителни промени в работната среда.
Статията подчертава значителен напредък: пускането от OpenAI на AI агент в реално време, който може да бъде разработен само за 20 минути. Този пробив демонстрира потенциала за високоефективна разработка в областта на приложенията, задвижвани от AI.
Изследване на ефективността на мащабирането по време на извод при дифузионни модели, откривайки, че увеличаването на изчислителните ресурси води до по-високо качество на генерираните образци. Рамката позволява гъвкави комбинации от компоненти, а търсенето на по-добър шум е друг начин за мащабиране на NFE. Използват се верификатори и алгоритми за намиране на оптимален шум, като се тестват различни сценарии и алгоритми за търсене. Прилага се към по-големи текстово-базирани генериращи задачи, като се анализира съгласуването на верификатор-задача и ефективността на алгоритъма. Методът е съвместим с фино настроени модели и изследва ефектите от различни измерения на изчисленията по време на извод, като показва ефективността на мащабирането дори при по-малки дифузионни модели.
Технологичният свят е развълнуван от предстоящото пускане на o3-mini на OpenAI, което се очаква до седмици. o3-mini, по-малка версия на голям модел, ще бъде достъпна чрез API и уеб интерфейс. Ще бъдат пуснати три версии - висока, средна и ниска. Въпреки че o3-mini няма да надмине o1-pro по производителност, ще предложи по-висока скорост, особено за кодиране. Пълният модел o3 ще бъде значително по-усъвършенстван. AGI е постижима, но ще изисква 872 мегавата изчислителна мощност.
В статията се представя нов механизъм за внимание, наречен Multi-matrix Factorization Attention (MFA), който значително намалява потреблението на памет при извод на големи езикови модели (LLM). MFA превъзхожда MLA по производителност и се доближава до MHA, като същевременно намалява използването на KV кеша до 93.7%. Механизмът е проектиран за простота, лесна възпроизводимост и съвместимост с различни методи за позиционно вграждане. Изследването анализира общия дизайн на механизмите за внимание и идентифицира ключови измерения, свързани с капацитета. MFA постига по-високи стойности на TER и SLSD в сравнение с MQA и MLA. Експерименталните резултати показват, че MFA поддържа отлична производителност дори при по-големи мащаби, като същевременно осигурява значителни икономии на памет.
ESM3 е биологичен модел с 98 милиарда параметри, който революционизира разбирането и манипулацията на протеини. Той преобразува 3D структури в дискретен азбучен код, позволявайки едновременна обработка на последователност, структура и функция. С безплатен API и одобрение от Ян ЛеКун, ESM3 обещава значителен напредък в медицинската област.
Microsoft представи MatterGen, новаторски голям езиков модел за създаване на неорганични материали. Той оптимизира атомните видове, координати и периодични решетки, ускорявайки откриването на нови материали. Моделът може да революционизира батерийната технология и да допринесе за разрешаването на глобални предизвикателства.
Скорошно проучване от Станфордския университет и Калифорнийския университет в Бъркли показва значителни колебания в производителността на GPT-3.5 и GPT-4 за тримесечен период. Проучването разкрива спад в точността при GPT-4 в различни задачи, включително математически проблеми и следване на инструкции, докато при GPT-3.5 се наблюдава подобрение в някои аспекти. Тези открития подчертават предизвикателствата при поддържане на последователността и надеждността на моделите.
