Стартап WaveForms AI, основанный бывшим руководителем голосового режима OpenAI, привлек 40 миллионов долларов на разработку аудио LLM с эмоциональным интеллектом. Компания стремится создать ИИ, способный понимать и реагировать на человеческие эмоции, обрабатывая аудио напрямую, а не через преобразование в текст.
Модель Kimi k1.5 от Moonshot AI достигла уровня производительности, сравнимого с OpenAI o1, особенно в математике, кодировании и мультимодальном мышлении. Она превосходит GPT-4o и Claude 3.5 Sonnet в режиме короткой цепочки рассуждений. Moonshot AI открыто делится техническими деталями, способствуя развитию ИИ.
OpenAI планирует представить супер-ИИ агента, способного выполнять сложные задачи, что вызывает беспокойство среди инженеров. Meta и Salesforce уже сокращают персонал, внедряя ИИ. Супер-агенты используют машинное обучение, обработку естественного языка и моделирование сложных систем для автономного решения задач.
В статье рассматривается прорыв OpenAI в создании реального AI-агента за 20 минут, подчеркивая эффективность, гибкость и надежность этой технологии. Обсуждаются ключевые аспекты, такие как взаимодействие с данными в реальном времени, многоуровневая структура агентов, гибкая передача задач, управление задачами на основе конечных автоматов, улучшенное принятие решений с помощью больших моделей, пользовательский интерфейс и мониторинг, а также скорость разработки.
В статье рассматривается новый подход к масштабированию вывода в диффузионных моделях. Исследование показывает, что увеличение вычислительных ресурсов во время вывода приводит к значительному улучшению качества генерируемых образцов. Представлена структура, включающая верификаторы и алгоритмы поиска оптимального шума, а также анализ их эффективности на различных задачах, включая ImageNet и генерацию текста в изображение. Подчеркивается, что инвестиции в вычисления во время вывода могут компенсировать затраты на обучение и привести к более качественным результатам.
Технологический мир ожидает скорого выпуска o3-Mini от OpenAI, подтвержденного CEO Сэмом Альтманом. o3-Mini, как дистиллированная версия большей модели, будет доступен через API и веб-интерфейс. Также планируется выпуск трех версий: high, medium и low. Модель не превзойдет O1-Pro по производительности, но предложит повышенную скорость, особенно в задачах программирования. Кроме того, обсуждается будущее полной модели o3, которая будет более продвинутой, чем O1-Pro и o3-Pro. Альтман также затронул тему AGI, отметив, что для его достижения потребуется 872 мегаватта вычислительной мощности. Текущее энергопотребление AI приближается к этому уровню, указывая на возможную разработку OpenAI моделей следующего поколения, вплоть до AGI.
В статье рассматривается новый механизм внимания Multi-matrix Factorization Attention (MFA) и его вариант MFA-Key-Reuse (MFA-KR), разработанные для снижения затрат на вывод больших языковых моделей (LLM). MFA превосходит MLA по производительности, соответствует MHA, снижая использование KV-кэша до 93.7%. MFA отличается простотой, легкостью воспроизведения и совместимостью. Исследование включает анализ производительности, сравнение с MQA и MLA, и экспериментальные результаты, демонстрирующие масштабируемость и экономию памяти.
ESM3 от Evolutionaryscale - революционная биологическая модель с 98 миллиардами параметров, способная обрабатывать структуру, последовательность и функцию белков. Она моделирует 5 триллионов лет эволюции и теперь доступна через бесплатный API, что вызвало энтузиазм у научного сообщества, включая Янна ЛеКуна. ESM3 открывает новые возможности в создании белков и имеет значительный потенциал в медицине и биотехнологиях.
Microsoft представила MatterGen, революционную языковую модель для создания неорганических материалов. Она оптимизирует атомы, координаты и решетки, ускоряя разработку новых материалов. MatterGen улучшает стабильность и уникальность материалов, приближая их к энергетическому минимуму. Модель имеет потенциал в электромобилях, аэрокосмической и электронной промышленности, а также в разработке аккумуляторов. Она использует диффузионный процесс и эквивариантные сети для создания стабильных кристаллических структур, а адаптивные модули позволяют настраивать ее под разные задачи. Исследование опубликовано в Nature и сравнивается с AlphaFold.
Недавнее исследование Стэнфордского университета и Калифорнийского университета в Беркли показало значительные колебания в производительности GPT-3.5 и GPT-4 в течение трех месяцев. Исследование выявило снижение точности GPT-4 в математических задачах и следовании инструкциям, при этом наблюдались улучшения в других областях. Отсутствие прозрачности в обучении моделей OpenAI вызывает опасения по поводу их надежности и последовательности.
