Tag: AIGC

Escalado de la Inferencia en Modelos de Difusión Un Nuevo Paradigma

Este estudio explora cómo escalar el tiempo de inferencia en modelos de difusión mejora la calidad de las imágenes generadas. Se enfoca en la búsqueda de ruido óptimo utilizando verificadores y algoritmos, encontrando que la asignación de más recursos computacionales durante la inferencia resulta en muestras de mayor calidad y que la búsqueda de ruido es una dimensión clave para escalar el NFE. También analiza la efectividad de diferentes algoritmos, la alineación entre verificadores y tareas, y la compatibilidad con modelos ajustados, demostrando que escalar modelos más pequeños puede ser más eficiente que usar modelos grandes sin búsqueda.

Escalado de la Inferencia en Modelos de Difusión Un Nuevo Paradigma

Mecanismo de Atención MFA: Reducción de KV Cache en LLMs

Este artículo explora el innovador mecanismo de atención Multi-matrix Factorization Attention (MFA) y su variante MFA-KR, que reducen significativamente el uso de memoria KV Cache en modelos de lenguaje grandes (LLMs), superando a alternativas como MLA y acercándose al rendimiento de MHA. MFA destaca por su simplicidad, eficiencia y compatibilidad con diversos métodos de Pos-embedding, ofreciendo una solución escalable para la inferencia de LLMs.

Mecanismo de Atención MFA: Reducción de KV Cache en LLMs

ESM3 de Evolutionaryscale: Un Salto en la Investigación de Proteínas

ESM3 de Evolutionaryscale, un modelo biológico con 98 mil millones de parámetros, revoluciona la manipulación de proteínas. Su API gratuita acelera la predicción de proteínas, respaldada por Yann LeCun. ESM3 procesa secuencias, estructuras y funciones de proteínas, simulando 5 billones de años de evolución, con aplicaciones en medicina e ingeniería de proteínas.

ESM3 de Evolutionaryscale: Un Salto en la Investigación de Proteínas