Tag: AIGC

ИИ-модели испытывают трудности с точностью мировой истории: исследование

Недавнее исследование показало, что даже самые передовые модели ИИ, такие как GPT-4, Llama и Gemini, испытывают трудности с историческими запросами, правильно отвечая только на 46% вопросов. Это подчеркивает пробел в их возможностях и вызывает опасения по поводу их надежности в областях, требующих глубокого понимания прошлого. Исследование также выявило региональную предвзятость и склонность к экстраполяции, а не к пониманию исторических нюансов. Это подчеркивает необходимость критического мышления и медиаграмотности в эпоху ИИ.

ИИ-модели испытывают трудности с точностью мировой истории: исследование

Масштабирование вывода диффузионных моделей Новая парадигма

В статье рассматривается новый подход к масштабированию вывода в диффузионных моделях. Исследование показывает, что увеличение вычислительных ресурсов во время вывода приводит к значительному улучшению качества генерируемых образцов. Представлена структура, включающая верификаторы и алгоритмы поиска оптимального шума, а также анализ их эффективности на различных задачах, включая ImageNet и генерацию текста в изображение. Подчеркивается, что инвестиции в вычисления во время вывода могут компенсировать затраты на обучение и привести к более качественным результатам.

Масштабирование вывода диффузионных моделей Новая парадигма

Новый механизм внимания Step-снижение KV-кэша

В статье рассматривается новый механизм внимания Multi-matrix Factorization Attention (MFA) и его вариант MFA-Key-Reuse (MFA-KR), разработанные для снижения затрат на вывод больших языковых моделей (LLM). MFA превосходит MLA по производительности, соответствует MHA, снижая использование KV-кэша до 93.7%. MFA отличается простотой, легкостью воспроизведения и совместимостью. Исследование включает анализ производительности, сравнение с MQA и MLA, и экспериментальные результаты, демонстрирующие масштабируемость и экономию памяти.

Новый механизм внимания Step-снижение KV-кэша

ESM3 Прорыв в Исследовании Белков Бесплатный API и Поддержка Янна ЛеКуна

ESM3 от Evolutionaryscale - революционная биологическая модель с 98 миллиардами параметров, способная обрабатывать структуру, последовательность и функцию белков. Она моделирует 5 триллионов лет эволюции и теперь доступна через бесплатный API, что вызвало энтузиазм у научного сообщества, включая Янна ЛеКуна. ESM3 открывает новые возможности в создании белков и имеет значительный потенциал в медицине и биотехнологиях.

ESM3 Прорыв в Исследовании Белков Бесплатный API и Поддержка Янна ЛеКуна