문샷 AI가 개발한 Kimi k1.5 멀티모달 모델은 OpenAI의 o1 풀버전과 견줄 만한 성능을 보여주며 AI 분야에서 큰 진전을 이루었습니다. 이 모델은 수학, 코딩, 멀티모달 추론 등 다양한 영역에서 뛰어난 능력을 입증했으며, 특히 단기 CoT 모델에서는 GPT-4o와 Claude 3.5 Sonnet을 능가하는 성능을 보입니다. 문샷 AI는 기술 보고서를 공개하여 AI 개발에 대한 투명성과 협력 정신을 강조하며, 인공 일반 지능(AGI)을 향한 여정에 기여하고 있습니다.
OpenAI가 박사급 슈퍼 AI 에이전트 출시를 앞두고 있으며, 이는 소프트웨어 엔지니어링 분야에 큰 변화를 가져올 수 있습니다. Meta와 Salesforce 같은 기업들은 이미 AI 에이전트 도입으로 인한 인력 구조 변화를 겪고 있으며, 슈퍼 AI 에이전트는 복잡한 문제를 자율적으로 해결할 수 있는 능력을 갖추고 있습니다. 이 기술은 머신러닝, 자연어 처리, 시스템 모델링 및 최적화 기술을 융합하여 개발되었으며, 다양한 산업 분야에서 혁신적인 변화를 가져올 것으로 예상됩니다.
OpenAI가 단 20분 만에 개발 가능한 실시간 AI 에이전트 기술을 공개했습니다. 이 기술은 효율적인 데이터 상호작용, 다단계 협업 에이전트 프레임워크, 유연한 작업 핸드오프, 상태 머신 기반 작업 처리, 대형 모델을 활용한 의사 결정 향상 등 다양한 기능을 제공합니다. 또한, 사용자 인터페이스 및 모니터링 도구를 통해 실시간으로 에이전트 성능을 관리할 수 있습니다. 이 기술은 AI 애플리케이션 개발의 효율성을 크게 향상시킬 것으로 기대됩니다.
본 연구는 확산 모델 추론 시 계산량 증가가 생성 샘플 품질을 향상시키는 효과를 입증합니다. 검증자 피드백과 알고리즘을 통해 최적의 노이즈를 검색하는 프레임워크를 제시하며, 다양한 시나리오에서 효과적인 확장 가능성을 보여줍니다. 특히, 텍스트-이미지 생성 작업에서 다양한 검증자 조합과 검색 알고리즘을 탐색하여 모델 성능을 개선하고, 계산 효율성을 높이는 방법을 제시합니다.
OpenAI의 o3 미니 모델 출시가 임박했으며, 샘 알트만 CEO는 이를 공식 발표했습니다. o3 미니는 API 및 웹 인터페이스를 통해 접근 가능하며, 고성능, 중간, 저성능 세 가지 버전으로 동시에 출시될 예정입니다. o3 미니는 O1 프로보다 성능은 낮지만 속도가 향상되었으며, 특히 프로그래밍 작업에 비용 효율적입니다. 한편, 알트만은 AGI 달성에 필요한 전력 요구량이 872 메가와트라고 언급했습니다.
대규모 언어 모델(LLM) 추론 시 메모리 병목 현상을 해결하는 새로운 어텐션 메커니즘 MFA(Multi-matrix Factorization Attention) 및 MFA-KR(MFA-Key-Reuse)을 소개합니다. 이 메커니즘은 KV 캐시 사용량을 93.7%까지 줄이면서도 기존 MHA 성능을 유지하거나 능가하며, 복잡성을 줄이고 다양한 Pos-embedding 방법과 호환됩니다. MFA는 어텐션 헤드 수와 차원을 늘려 모델 용량을 극대화하고, 저랭크 분해 전략을 통해 파라미터 효율성을 유지하며, 단일 키-값 헤드 디자인으로 메모리 소비를 최소화합니다. 실험 결과 MFA는 기존 MHA와 유사한 확장성을 보이며, 대규모 모델에서 87.5%의 메모리 절감 효과를 달성했습니다.
Evolutionaryscale의 ESM3는 980억 개의 파라미터를 가진 획기적인 생물학적 모델로, 단백질 연구에 혁신을 가져왔습니다. 이 모델은 단백질의 3차원 구조와 기능을 이산 알파벳으로 변환하여 동시에 처리하며, 5조 년에 달하는 자연 진화를 시뮬레이션합니다. 최근에는 무료 API가 공개되어 전 세계 과학자들의 단백질 예측 연구를 가속화하고 있으며, Yann LeCun을 비롯한 전문가들의 찬사를 받고 있습니다.
마이크로소프트가 무기 재료 설계를 위한 혁신적인 AI 모델 MatterGen을 공개했습니다. 이 모델은 확산 모델 아키텍처를 기반으로 하며 원자 유형, 좌표, 주기적 격자를 최적화하여 새로운 무기 재료를 빠르게 생성합니다. 에너지 분야에서 리튬 이온 배터리 양극 재료 개발에 큰 잠재력을 보여줍니다. MatterGen은 기존 방식 대비 안정적이고 독창적인 재료 생성 비율을 두 배 이상 늘리고, DFT 국소 에너지 최소값에 10배 더 가까운 구조를 생성하여 전기 자동차, 항공우주, 전자 칩 등 첨단 기술 분야에서 유용하게 사용될 수 있습니다. 이 모델은 재료 과학 분야에서 AI의 힘을 입증하며, 배터리 기술 혁신, AGI 발전, 기후 변화와 같은 글로벌 문제 해결에 기여할 수 있습니다. MatterGen의 핵심은 확산 과정이며, 등변 점수 네트워크와 어댑터 모듈을 통해 유연성과 적응성을 높입니다. 이 연구는 네이처에 게재되어 기술 전문가들의 인정을 받았으며, 구글의 AlphaFold 시리즈와 비교됩니다.
스탠포드 대학과 UC 버클리 연구진이 발표한 '시간에 따른 챗GPT 행동' 논문에 따르면, GPT-3.5와 GPT-4의 성능이 3개월 동안 상당한 변동을 보였습니다. 수학 문제 해결, 코드 생성, 다단계 지식 기반 질문 응답 등 7가지 과제에서 모델 성능을 평가한 결과, GPT-4는 소수와 합성수 식별 정확도가 84%에서 51%로 급감했으며, 지침 준수 능력도 저하되었습니다. 반면, GPT-3.5는 일부 작업에서 성능이 향상되기도 했습니다. 이 연구는 챗GPT 모델의 일관성과 신뢰성을 유지하는 데 어려움이 있음을 보여줍니다.
