인공지능(AI) 환경은 지속적으로 진화하고 있으며, 대규모 언어 모델(LLM)이 혁신의 최전선에 있습니다. 이러한 모델은 인간의 언어를 이해하고 생성하며 조작하는 능력이 점점 향상되어 광범위한 잠재적 애플리케이션을 열어줍니다. 그러나 여전히 중요한 과제가 남아 있습니다. LLM이 매우 길고 복잡한 입력을 효과적으로 추론하도록 하는 것입니다. Alibaba Group은 LLM에 향상된 긴 문맥 추론 능력을 부여하도록 설계된 새로운 프레임워크인 QwenLong-L1을 도입하여 이러한 과제를 해결하기 위해 나섰습니다. 이 획기적인 기술은 기업 애플리케이션의 새로운 시대를 열어 AI가 복잡한 기업 서류, 포괄적인 재무 제표 및 복잡한 법적 계약과 같은 방대한 데이터에서 가치 있는 통찰력을 추출할 수 있도록 합니다.
AI의 장문형 추론 과제
대규모 추론 모델(LRM), 특히 강화 학습(RL) 기술을 활용하는 모델의 최근 발전은 문제 해결 능력의 상당한 개선으로 이어졌습니다. 연구에 따르면 RL 미세 조정으로 훈련된 LRM은 인간의 "“느린 사고"“와 유사한 인지 능력을 보여 복잡한 작업을 해결하기 위한 정교한 전략을 개발할 수 있습니다. 여기에는 모델이 정보를 꼼꼼하게 평가하고 다양한 가능성을 고려하며 궁극적으로 잘 추론된 솔루션에 도달하는 신중하고 분석적인 접근 방식이 포함됩니다.
LRM 성능에서 달성된 발전은 일반적으로 모델이 약 4,000개의 토큰의 비교적 짧은 텍스트에서 작동할 때 관찰됩니다. 그러나 진정한 테스트는 이러한 추론 능력을 120,000개 이상의 토큰과 같은 훨씬 더 긴 문맥으로 확장하는 데 있습니다. 장문형 추론은 전체 문맥에 대한 포괄적인 이해와 다단계 분석을 수행하는 능력이 필요하므로 이는 엄청난 과제를 제시합니다. QwenLong-L1 개발자는 이러한 제한이 LRM이 지식 집약적 환경에서 정보를 수집하고 처리해야 하는 심층적 연구와 같이 외부 지식과의 상호 작용이 필요한 실제 애플리케이션에 심각한 장애물이 된다고 강조합니다.
이러한 과제를 해결하기 위해 연구자들은 이를 "“긴 문맥 추론 RL"“의 개념으로 공식화합니다. 모델 내부에 저장된 기존 지식에 의존하는 단기 문맥 추론과 달리 긴 문맥 추론 RL은 긴 입력에서 관련 정보를 정확하게 검색하고 근거해야 합니다. 즉, 모델은 방대한 양의 텍스트를 체로 쳐서 가장 적절한 세부 정보를 식별하고 당면한 작업에 연결할 수 있어야 합니다. 이 정보를 성공적으로 통합한 후에만 모델은 일관되고 논리적인 추론 체인을 생성할 수 있습니다.
RL을 통해 이러한 수준의 숙련도를 달성하도록 모델을 훈련하는 것은 복잡한 작업이며 종종 비효율적인 학습 및 불안정한 최적화 프로세스로 이어집니다. 모델은 최적의 솔루션에 수렴하는 데 어려움을 겪거나 다양한 추론 경로를 탐색하는 능력을 잃어 전반적인 성능을 저해할 수 있습니다.
QwenLong-L1: 다단계 솔루션
QwenLong-L1은 LRM이 단기 텍스트 숙련도에서 긴 문맥에 걸친 강력한 일반화로 원활하게 전환할 수 있도록 설계된 포괄적인 다단계 접근 방식을 제공합니다. 이 프레임워크는 신중하게 구조화된 프로세스를 통해 기존의 단기 문맥 LRM을 향상시키고 여러 가지 핵심 요소를 통합합니다.
웜업 지도 학습 미세 조정(SFT): 이 초기 단계에서는 모델을 긴 문맥 추론 예제의 큐레이트된 데이터 세트에서 훈련합니다. SFT의 목적은 모델이 긴 문맥 추론 기술을 구축할 수 있는 견고한 기반을 구축하는 것입니다. 모델을 다양한 범위의 긴 텍스트와 해당 추론 작업에 노출함으로써 SFT 단계는 모델이 긴 입력에서 정보를 정확하게 근거하고 문맥을 이해하는 기본 기능을 개발하고 논리적 추론 체인을 생성하고 의미 있는 답을 추출할 수 있도록 합니다.
커리큘럼 기반 단계별 RL: 이 단계에서는 입력 문서의 길이를 점진적으로 늘려 여러 단계를 통해 모델을 훈련하는 체계적인 단계별 접근 방식을 사용합니다. 이 커리큘럼 기반 접근 방식은 모델이 더 짧은 문맥에서 점진적으로 더 긴 문맥으로 추론 전략을 꾸준히 조정하도록 도와 모델이 매우 긴 텍스트에서 갑자기 훈련될 때 종종 발생하는 불안정성을 완화합니다. 훈련 데이터의 복잡성을 점진적으로 높임으로써 모델은 방대한 양의 정보에 압도되지 않고 더 긴 문맥을 효과적으로 처리하는 방법을 배울 수 있습니다.
어려움 인식 회고적 샘플링: 이 마지막 훈련 단계에서는 이전 훈련 단계의 어려운 예제를 통합하여 모델이 가장 어려운 문제에서 계속 배우도록 보장합니다. 이러한 어려운 인스턴스를 우선 순위로 지정함으로써 모델은 더 다양하고 복잡한 추론 경로를 탐색하도록 장려되어 궁극적으로 광범위한 긴 문맥 추론 작업을 처리하는 능력이 강화됩니다. 이 회고적 샘플링 기술은 모델이 추론 기술을 개선하고 로컬 최적값에 갇히는 것을 방지하는 데 도움이 됩니다.
보상 시스템
구조화된 훈련 방법론 외에도 QwenLong-L1은 규칙 기반 검증과 "“LLM-as-a-judge"“ 접근 방식을 결합한 정교한 보상 시스템을 활용합니다. 단기 문맥 추론 작업을 위한 훈련은 종종 엄격한 규칙 기반 보상(예: 수학 문제에서 정답)에 의존하지만 QwenLong-L1은 긴 문맥 추론의 뉘앙스에 더 유연하고 적응할 수 있는 하이브리드 보상 메커니즘을 사용합니다.
규칙 기반 검증은 정확성 기준에 대한 엄격한 준수를 확인하여 정확성을 보장합니다. 보상 시스템의 이 구성 요소는 모델 성능에 대한 명확하고 객관적인 척도를 제공하여 모델이 정확하고 신뢰할 수 있는 답변을 생성하도록 보장합니다.
“"LLM-as-a-judge"“ 모델은 생성된 답변의 의미를 진실성과 비교하여 더 긴 뉘앙스가 있는 문서를 처리할 때 정확한 답변을 표현할 수 있는 다양한 방식을 더 유연하게 처리하고 더 잘 처리할 수 있습니다. 보상 시스템의 이 구성 요소는 긴 문맥을 기반으로 질문에 답하는 유효한 방법이 여러 가지 있을 수 있음을 인식하고 진실성과 의미상 유사한 답변을 생성하는 모델에 보상을 제공합니다(동일하지 않더라도). 이를 통해 모델은 보다 창의적이고 뉘앙스가 있는 응답을 생성할 수 있습니다.
QwenLong-L1의 성능 평가
Alibaba 팀은 QwenLong-L1의 효과를 평가하기 위해 문서 질문 답변(DocQA)을 주요 작업으로 사용하여 철저한 평가를 수행했습니다. 이 시나리오는 AI가 복잡한 질문에 답하기 위해 조밀한 문서를 이해해야 하는 경우가 많은 엔터프라이즈 애플리케이션과 특히 관련이 있습니다. DocQA 작업에는 모델에 문서와 질문을 제공하고 문서 내에서 질문에 대한 답을 식별하도록 요청하는 작업이 포함됩니다. 이를 위해서는 모델이 질문, 문서 및 둘 사이의 관계를 이해해야 합니다.
7개의 긴 문맥 DocQA 벤치마크에 걸친 실험 결과는 QwenLong-L1의 인상적인 기능을 입증했습니다. DeepSeek-R1-Distill-Qwen-32B를 기반으로 하는 QWENLONG-L1-32B 모델은 Anthropic의 Claude-3.7 Sonnet Thinking과 비슷한 성능을 달성했으며 OpenAI의 o3-mini 및 Qwen3-235B-A22B와 같은 모델보다 우수한 성능을 보였습니다. 또한 더 작은 QWENLONG-L1-14B 모델은 Google의 Gemini 2.0 Flash Thinking 및 Qwen3-32B보다 우수한 성능을 보였습니다. 이러한 결과는 LLM이 길고 복잡한 문서를 효과적으로 추론할 수 있도록 지원하는 QwenLong-L1의 효과를 강조합니다.
실제 애플리케이션과 관련된 한 가지 중요한 발견은 RL 훈련이 모델 내에서 전문화된 긴 문맥 추론 동작의 개발로 이어진다는 것입니다. QwenLong-L1로 훈련된 모델은 다음과 같은 영역에서 향상된 능력을 보여줍니다.
근거: 답변을 문서의 특정 부분에 연결합니다. 이는 모델이 긴 텍스트 내에서 가장 관련성 높은 정보를 식별하고 질문되는 질문에 연결하는 능력을 입증합니다. 효과적인 근거는 모델의 답변이 정확하고 문서의 증거에 의해 잘 뒷받침되도록 보장하는 데 중요합니다.
하위 목표 설정: 복잡한 질문을 더 작고 관리하기 쉬운 하위 질문으로 나눕니다. 이를 통해 모델은 보다 구조화되고 조직화된 방식으로 복잡한 추론 작업에 접근할 수 있습니다. 작업을 더 작은 단계로 나눔으로써 모델은 질문에 답하고 일관되고 논리적인 추론 체인을 생성하는 데 필요한 정보를 더 쉽게 식별할 수 있습니다.
역추적: 추론 과정에서 스스로 만든 오류를 인식하고 수정합니다. 이는 모델이 자체 모니터링하고 추론 과정에서 잠재적인 실수를 식별하는 능력을 입증합니다. 이러한 오류를 역추적하고 수정함으로써 모델은 최종 답변이 정확하고 신뢰할 수 있도록 보장할 수 있습니다.
검증: 정확성과 완전성을 보장하기 위해 답변을 다시 확인합니다. 이는 정확하고 신뢰할 수 있는 정보를 제공하려는 모델의 의지를 입증합니다. 답변을 다시 확인함으로써 모델은 남아 있는 오류를 식별하고 수정하여 최종 답변이 최고 품질인지 확인할 수 있습니다.
예를 들어 기본 모델은 재무 문서의 관련 없는 세부 정보에 의해 산만해지거나 관련 없는 정보를 과도하게 분석하는 루프에 갇힐 수 있습니다. 그러나 QwenLong-L1 훈련된 모델은 효과적인 자기 성찰을 수행하고 이러한 방해 세부 정보를 성공적으로 필터링하고 잘못된 경로에서 역추적하여 올바른 답변에 도달하는 능력을 보여줍니다. 이는 긴 문맥 추론의 견고성과 정확성을 개선하는 데 있어 QwenLong-L1 훈련 프레임워크의 이점을 강조합니다.
잠재적 애플리케이션
QwenLong-L1과 같은 기술은 엔터프라이즈에서 AI의 유용성을 크게 확장할 수 있습니다. 몇 가지 잠재적인 애플리케이션은 다음과 같습니다.
- 법률 기술: 수천 페이지의 법률 문서를 분석하여 핵심 조항, 선례 및 잠재적 위험을 식별합니다. 이는 변호사가 법률 문서를 보다 효율적이고 효과적으로 검토하여 시간과 비용을 절약하는 데 도움이 될 수 있습니다.
- 금융: 연간 보고서 및 재무 서류에 대한 심층적인 연구를 수행하여 위험을 평가하고 투자 기회를 식별합니다. 이는 금융 분석가가 보다 정보에 입각한 투자 결정을 내리는 데 도움이 될 수 있습니다.
- 고객 서비스: 긴 고객 상호 작용 기록을 분석하여 보다 정보에 입각하고 개인화된 지원을 제공합니다. 이는 고객 서비스 담당자가 고객 요구 사항을 더 잘 이해하고 보다 효과적인 솔루션을 제공하는 데 도움이 될 수 있습니다.
AI가 길고 복잡한 문서를 효과적으로 추론할 수 있도록 지원함으로써 QwenLong-L1 및 유사한 기술은 다양한 산업 전반에 걸쳐 혁신을 주도하고 효율성을 개선하여 엔터프라이즈 애플리케이션을 위한 광범위한 새로운 가능성을 열 수 있습니다. 연구자들은 QwenLong-L1 레시피에 대한 코드와 훈련된 모델에 대한 가중치를 공개했습니다.