Tencent, Mamba 기반 AI 추론 모델 Hunyuan-T1 공개

대규모 언어 모델 최적화의 진화하는 환경

인공지능 분야는 특히 대규모 언어 모델(LLM)의 초기 훈련 이후 정제 단계에서 패러다임 전환을 목격하고 있습니다. 모델이 보상을 통해 시행착오를 거쳐 학습하는 정교한 기술인 강화 학습(RL)은 상당한 성능 향상을 이끄는 강력한 힘으로 부상했습니다. 이 접근 방식은 학문적 호기심에서 선도적인 AI 개발자들의 핵심 전략으로 발전했습니다. OpenAI의 O-series 및 주목할 만한 DeepSeek R1과 같은 모델이 보여준 인상적인 능력은 모델 출력을 연마하고, 문제 해결 기술을 개선하며, AI 행동을 인간의 기대와 선호도에 더 가깝게 정렬하는 데 있어 강화 학습의 중추적인 기능을 강조하는 강력한 증거입니다. 이 후훈련 단계는 더 이상 단순한 미세 조정에 관한 것이 아니라 모델의 인지 능력을 근본적으로 향상시키는 것입니다.

Hunyuan-T1 소개: 심층 사고 능력의 도약

이러한 급속한 발전의 배경 속에서 Tencent의 Hunyuan 팀은 중요한 이정표를 세웠습니다. 올해 초 2월 중순, 팀은 Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview)를 통해 진행 상황을 살짝 엿볼 수 있게 했습니다. Tencent Yuanbao 애플리케이션에 통합된 이 초기 추론 모델은 중간 규모의 Hunyuan 기반 위에 구축되어 사용자에게 신속하고 심오한 분석 능력의 맛을 제공했습니다.

그 기반 위에 구축하여, 이제 우리는 Hunyuan 대규모 모델 제품군 내 심층 사고 모델의 완전한 실현 버전인 Hunyuan-T1의 공식 출시를 자랑스럽게 발표합니다. 이는 단순한 점진적 업데이트가 아니라 상당한 진화를 나타냅니다. Hunyuan-T1은 Tencent가 3월 초에 도입한 획기적인 아키텍처인 TurboS 고속 사고 기반을 활용합니다. TurboS를 특히 주목할 만하게 만드는 것은 세계 최초의 초거대 규모 Hybrid-Transformer-Mamba 전문가 혼합(MoE) 대규모 모델이라는 점입니다. 이 혁신적인 하이브리드 구조는 기존 Transformer 아키텍처의 강점과 최신 Mamba 상태 공간 모델의 효율성 및 시퀀스 처리 능력을 결합합니다. 광범위하고 세심하게 설계된 후훈련 과정을 통해 Hunyuan-T1의 추론 능력은 극적으로 증폭되었고 미묘한 인간 선호도와의 정렬은 크게 개선되었습니다. 프리뷰 전작과 비교할 때, 공식 Hunyuan-T1은 전반적으로 현저한 개선을 보여주며 업계 최첨단의 고추론 대규모 모델들 사이에서 강력한 경쟁자로 자리매김하고 있습니다.

아키텍처 이점: TurboS와 Mamba의 힘

Hunyuan-T1의 기반으로 TurboS를 선택한 것은 특히 깊고 다단계 추론을 요구하는 작업을 처리할 때 뚜렷한 이점을 제공합니다. 많은 대규모 언어 모델의 중요한 병목 현상은 방대한 문서나 긴 대화를 다룰 때 발생합니다. 초기에 제시된 정보는 모델이 후속 텍스트를 처리함에 따라 희석되거나 완전히 손실될 수 있으며, 이는 컨텍스트 손실로 알려진 현상으로 이어집니다. 더욱이, 텍스트의 넓은 범위에 의해 분리된 지점들 간의 연결을 설정하는 것 – 장거리 정보 의존성 – 은 상당한 계산적 어려움을 제기합니다.

TurboS에서 상속받은 Hunyuan-T1의 기본 아키텍처는 이러한 한계에 직접 맞섭니다. 그 고유한 설계는 강력한 긴 텍스트 캡처를 우선시하여 모델이 입력 전체에 대해 더 확고한 파악을 유지하도록 보장하며, 이로써 컨텍스트 손실을 완화하고 확장된 시퀀스 전반에 걸쳐 중요한 관계를 더 안정적으로 식별합니다. 이 능력은 종종 방대한 텍스트 코퍼스 전체에 흩어져 있는 정보를 종합해야 하는 복잡한 추론 작업에 매우 중요합니다.

이 향상된 능력의 중심에는 Mamba 아키텍처 구성 요소가 있습니다. Mamba는 많은 Transformer 모델에서 지배적인 순수 어텐션 기반 메커니즘에서 벗어난 것을 나타냅니다. 이는 상태 공간 모델(SSM) 접근 방식을 활용하며, 특히 긴 시퀀스를 놀라운 효율성으로 처리하도록 최적화되었습니다. 주요 이점은 다음과 같습니다.

• 선형 시간 복잡성: 시퀀스 길이에 대한 표준 어텐션 메커니즘의 이차 복잡성과 달리 Mamba는 선형적으로 확장됩니다. 이는 극도로 긴 텍스트를 처리하는 것을 금지적인 자원 요구 없이 계산적으로 가능하게 만듭니다.
• 효율적인 계산: Mamba 설계는 훈련 중 병렬화 가능한 계산과 추론 중 효율적인 순환 연산을 가능하게 합니다. 이는 직접적으로 더 빠른 처리 속도로 이어집니다.
• 선택적 상태 관리: Mamba 모델은 시퀀스를 처리하면서 정보를 선택적으로 유지하거나 잊을 수 있으며, 이는 컨텍스트 관리에 대한 보다 집중적인 접근 방식을 모방하여 장거리에 걸쳐 관련 정보를 유지하는 데 필수적입니다.

결과적으로 TurboS, 그리고 확장하여 Hunyuan-T1은 유사한 규모의 전통적인 Transformer 모델에 비해 훨씬 적은 계산 자원을 소비하면서 긴 입력을 효과적으로 분석할 수 있습니다. 내부 벤치마크에 따르면 동일한 배포 조건 하에서 Hunyuan-T1은 Mamba 최적화가 없는 유사 모델보다 두 배 빠른 디코딩 속도를 달성하며, 이는 시기적절한 응답이 필요한 실제 애플리케이션에 중요한 요소입니다.

후훈련 과정: 강화 학습으로 추론 능력 단련

기본 TurboS 모델에서 고성능 Hunyuan-T1으로의 전환에는 대규모의 전략적으로 집중된 후훈련 단계가 포함되었습니다. 고급 학습 기술의 중요한 역할을 인식한 Tencent는 이 단계에 할당된 계산 자원의 **96.7%**라는 이례적인 부분을 특히 강화 학습 훈련에 투입했습니다. 이 막대한 투자는 명확한 전략적 우선순위를 강조합니다: 모델의 순수 추론 능력을 높이고 그 출력을 복잡한 인간의 판단 및 선호도와 세심하게 정렬하는 것입니다.

이는 단순히 모델에 더 많은 데이터를 공급하는 것이 아니라, 어떻게 더 효과적으로 생각하는지를 가르치는 것이었습니다. 이 RL 집중 단계의 핵심 목표는 두 가지였습니다.

1. 순수 추론 능력 향상: 다양한 영역에 걸쳐 논리적 추론, 수학적 계산, 인과 관계 추론 및 복잡한 문제 해결을 수행하는 모델의 능력의 한계를 넓히는 것.
2. 인간 정렬 최적화: 모델의 응답이 정확할 뿐만 아니라 유용하고, 무해하며, 정직하고, 인간 사용자와 공감할 수 있는 방식으로 미묘하게 표현되도록 보장하는 것. 이는 암묵적 의도를 이해하고, 일관성 있고 문맥적으로 적절한 출력을 생성하며, 안전 지침을 준수하는 것을 포함합니다.

이 까다로운 훈련 과정을 지원하기 위해 방대하고 다양한 데이터셋이 세심하게 큐레이션되었습니다. 이 컬렉션은 광범위한 분야를 아우르는 세계 과학 및 추론 문제로 구성되었습니다.

• 수학: 기초 산술 및 대수학에서 미적분학, 정수론 및 고급 경시 수준 문제까지.
• 논리 추론: 퍼즐, 연역적 추론 과제, 비판적 사고 도전 과제 및 형식 논리 문제.
• 과학: 물리, 화학, 생물학 및 기타 과학 분야를 다루는 질문과 문제로, 종종 다단계 추론과 원리 적용이 필요합니다.
• 코딩: 다양한 언어에 걸쳐 알고리즘 설계, 코드 생성, 디버깅 및 복잡한 프로그래밍 논리 이해.

결정적으로, 이 데이터는 실제 피드백과 결합되었습니다. 이 피드백 루프는 강화 학습에 필수적이며, 모델이 어떤 추론 경로가 정확하거나 선호되는 결과로 이어지는지 이해하는 데 필요한 신호를 제공합니다. 이 엄격한 기반은 Hunyuan-T1이 실제 시나리오에서 마주치는 광범위한 어려운 추론 작업에 직면했을 때 입증 가능한 숙련도를 개발하도록 보장합니다.

정교한 훈련 방법론

계산 투자와 데이터 수집의 엄청난 규모는 학습 효율성과 모델 안정성을 극대화하도록 설계된 정교한 훈련 전략과 결합되었습니다.

• 커리큘럼 학습: 모델을 가장 복잡한 문제로 즉시 압도하는 대신, 커리큘럼 학습 접근 방식이 채택되었습니다. 훈련은 더 간단한 작업으로 시작하여 점진적으로 더 어려운 문제를 도입했습니다. 동시에 모델의 유효 컨텍스트 길이는 점진적으로 확장되었습니다. 이 단계적 접근 방식은 모델이 더 고급 과제를 해결하기 전에 기초적인 추론 기술을 구축할 수 있게 하여 더 안정적이고 효율적인 학습을 촉진합니다. 또한 모델이 효과적인 추론을 위해 토큰 용량을 신중하게 활용하도록 훈련하여 사고 과정에서 일종의 계산 효율성을 개발합니다.
• 고급 강화 학습 기술: 장기간의 RL 훈련 동안 강력하고 일관된 진행을 보장하기 위해 고전적이면서도 강력한 전략이 사용되었습니다. 데이터 리플레이(학습 강화를 위해 과거 경험 재사용) 및 주기적 정책 재설정(발산을 방지하기 위해 때때로 이전의 안정적인 모델 상태로 되돌리기)과 같은 기술이 통합되었습니다. 이러한 방법은 매우 효과적인 것으로 입증되었으며, 대규모 RL 노력에서 발생할 수 있는 치명적 망각이나 정책 붕괴와 같은 문제를 완화하여 모델 훈련 프로세스의 장기적 안정성을 50% 이상 크게 향상시켰습니다.
• 통합 보상 시스템: 모델을 인간의 선호도에 맞추는 것은 복잡한 작업입니다. Hunyuan-T1은 새로운 통합 보상 시스템을 활용했습니다. 이 시스템은 두 가지 출처의 피드백을 통합했습니다.
  • 자가 보상: 이전 버전의 T1-preview 모델이 자동 심사관으로 사용되어 훈련 중인 모델의 출력을 포괄적으로 평가하고 점수를 매겼습니다. 이를 통해 사전 정의된 기준에 따라 신속하고 대규모의 피드백 생성이 가능합니다.
  • 보상 모델: 인간 선호도를 예측하도록 특별히 훈련된 별도의 모델이 추가적인 지침 계층을 제공하여 품질, 유용성 및 안전성의 더 미묘한 측면을 포착했습니다.
    이 결합된 피드백 메커니즘은 모델을 자기 개선 과정으로 안내하여 더 풍부한 콘텐츠 세부 정보, 더 효율적인 정보 전달, 그리고 원하는 응답 특성과의 전반적인 더 나은 정렬을 특징으로 하는 출력을 장려했습니다.

성능 벤치마크: 최고 수준 모델들과의 경쟁

대규모 언어 모델의 궁극적인 척도는 성능에 있습니다. Hunyuan-T1은 공개 벤치마크 및 내부 데이터셋 모음을 대상으로 엄격하게 평가되었으며, 현대 AI 모델의 최상위 계층에 확고히 자리 잡는 능력을 보여주었습니다.

또 다른 높이 평가받는 추론 중심 모델인 DeepSeek R1과 비교했을 때, Hunyuan-T1은 다양한 언어와 영역에 걸쳐 지식과 추론을 평가하는 여러 주요 공개 벤치마크에서 비교 가능하거나 약간 우수한 결과를 달성합니다.

• MMLU-pro: 다양한 전문 및 학술 주제에 걸쳐 포괄적인 지식과 추론을 평가하도록 설계된 어려운 벤치마크.
• CEval: 다분야 중국어 평가 스위트.
• AIME: 정교한 추론을 요구하는 경시 수준 수학 문제에 중점을 둡니다.
• Zebra Logic: 복잡한 논리 연역 퍼즐을 구체적으로 대상으로 하는 벤치마크.

이러한 특정 테스트 외에도 내부 인간 평가 데이터셋은 추가적인 통찰력을 제공합니다. 많은 영역에서 R1과 동등한 성능을 보이는 반면, Hunyuan-T1은 다음과 관련된 작업에서 약간의 우위를 보입니다.

• 문화 및 창의적 지시 따르기: 창의적인 텍스트 형식 생성, 문화적 뉘앙스가 있는 특정 스타일 요청에 적응.
• 텍스트 요약: 주요 정보를 보존하면서 긴 문서의 간결하고 정확한 요약 생성.
• 에이전트 능력: 계획, 도구 사용 및 외부 시스템과의 상호 작용이 필요한 작업에서 숙련도 입증.

전반적인 능력을 측정하도록 설계된 포괄적인 평가 지표를 살펴보면, Hunyuan-T1은 엘리트 추론 모델들 사이에서 그 위치를 공고히 합니다.

• MMLU-PRO에서 T1은 평가 당시 OpenAI의 O1 모델에 이어 두 번째로 높은 87.2점이라는 놀라운 점수를 달성했습니다. 이 벤치마크는 인문학, 사회 과학 및 STEM 과목을 포함한 14개 분야에 걸쳐 광범위한 지식 회상과 이해를 모두 테스트합니다.
• GPQA-diamond에서의 성능도 주목할 만합니다. 이 벤치마크는 전문가 수준의 지식과 복잡한 과학적 추론에 집중하며, 주로 물리, 화학, 생물학 분야의 박사 수준 문제를 특징으로 합니다. Hunyuan-T1은 69.3점을 획득하여 고도로 전문화되고 복잡한 과학적 질문을 처리하는 데 강력한 능력을 나타냅니다.

과학, 공학 및 정렬에서의 탁월함

추가 평가는 강력한 추론 능력을 요구하는 특정 영역을 심층적으로 파고들었습니다.

• 코딩: 실용적인 코딩 문제 해결 능력을 테스트하는 LiveCodeBench 코드 평가에서 T1은 64.9점을 기록하여 견고한 프로그래밍 논리 및 코드 생성 기술을 입증했습니다.
• 수학: 이 모델은 수학에서 탁월한 강점을 보입니다. 어려운 수학 문제 데이터셋인 MATH-500에서의 성능은 96.2점이라는 뛰어난 점수를 산출했습니다. 이 결과는 DeepSeek R1과 거의 동등한 수준으로, Hunyuan-T1이 복잡한 수학적 추론을 다루는 심오한 능력을 강조합니다.
• 정렬 및 지시 따르기: 순수한 문제 해결을 넘어, T1은 다양한 정렬 작업 전반에 걸쳐 강력한 적응성을 보여줍니다. 지시 따르기 시나리오에서 뛰어나며 필요할 때 도구를 활용하는 능숙함을 보여줍니다. 예를 들어, 어렵고 사용자 생성 프롬프트에 대한 성능을 평가하도록 설계된 ArenaHard 작업에서 T1은 91.9점이라는 높은 점수를 달성했습니다.

이러한 결과들은 종합적으로 매우 유능하고 다재다능하며 잘 정렬된 대규모 언어 모델의 그림을 그립니다. Hybrid-Transformer-Mamba 아키텍처의 전략적 통합과 집중적인 RL 중심 후훈련 과정이 결합되어 Hunyuan-T1이 탄생했습니다. 이 모델은 특히 복잡하고 긴 컨텍스트 시나리오와 까다로운 과학 및 수학 영역에서 탁월한 추론 능력을 보여줍니다.