컨텍스트 엔지니어링: LLM 시스템 종합 가이드

컨텍스트 엔지니어링은 인공지능 분야에서 중요한 변화를 나타냅니다. 개별 프롬프트에 집중하는 대신 대규모 언어 모델 (LLM)을 중심으로 포괄적인 정보 생태계를 구축하는 데 중점을 둡니다. AI 애플리케이션이 기본적인 챗봇에서 복잡하고 다단계 작업을 수행할 수 있는 정교한 에이전트로 진화함에 따라 모델 출력의 품질은 제공되는 정보에 점점 더 의존합니다. 따라서 컨텍스트 엔지니어링은 인상적인 사용자 경험을 제공하는 안정적이고 강력한 AI 애플리케이션을 만드는 데 필수적입니다.

패러다임 전환: 프롬프트에서 시스템으로

핵심은 개별 프롬프트를 만드는 것에서 대규모 언어 모델 (LLM)을 중심으로 완전한 정보 생태계를 체계적으로 구축하는 것으로 이동하고 있습니다. AI 애플리케이션이 간단한 챗봇에서 복잡한 다단계 작업을 수행할 수 있는 지능형 에이전트로 진화함에 따라 모델 출력의 품질은 제공되는 정보의 품질에 점점 더 의존하게 됩니다. 업계 리더와 AI 연구자들은 이러한 변화의 중요성을 인식하고 있으며 LLM이 작업을 효과적으로 해결할 수 있도록 포괄적인 컨텍스트를 제공해야 한다고 강조합니다. 컨텍스트 엔지니어링은 컨텍스트 창을 올바른 정보로 채워 모델이 정확한 결정을 내릴 수 있도록 하는 예술이자 과학입니다.

대부분의 지능형 에이전트의 실패는 모델의 결함이 아닌 컨텍스트 부족에서 비롯된다는 것이 핵심 주장입니다. 이 주장은 AI 엔지니어링의 핵심 과제를 재정의하여 모델 튜닝에서 정보 지원 시스템 개발로 관심을 돌리고 있습니다. 안정적이고 강력한 AI 애플리케이션을 구축하려면 컨텍스트 엔지니어링을 이해하고 마스터하는 것이 필수 조건이 되었습니다.

컨텍스트 엔지니어링 정의

컨텍스트 엔지니어링은 프롬프트 엔지니어링의 향상된 버전이 아니라 그 이상의 의미를 갖습니다. 텍스트 입력을 단순히 최적화하는 것이 아니라 동적 정보 전달 시스템을 만드는 데 초점을 맞춘 고유한 시스템 수준 엔지니어링 분야입니다.

컨텍스트 엔지니어링은 LLM이 작업을 올바른 형식으로, 적시에 완료하는 데 필요한 정보와 도구를 제공하는 동적 시스템을 설계하고 구축하는 데 초점을 맞춘 엔지니어링 분야로 정의할 수 있습니다.

주요 구성 요소 :

• "역동적인 시스템을 설계하고 구축": 이는 컨텍스트 엔지니어링이 단지 문구를 만드는 것이 아니라 시스템 아키텍처에 초점을 맞춘 엔지니어링 활동임을 강조합니다. 컨텍스트는 메인 LLM 호출 전에 실행되는 시스템의 결과입니다. 엔지니어는 LLM의 작업 메모리를 준비하기 위해 데이터 파이프라인, 메모리 모듈 및 정보 검색 메커니즘을 구축해야 합니다.
• "정확한 정보와 도구": 사실, 데이터, 지식 베이스 콘텐츠 (RAG), 사용자 기본 설정을 포함합니다. 도구는 API 인터페이스, 기능 또는 데이터베이스 쿼리와 같은 기능을 의미합니다. 복잡한 작업에는 지식과 기능을 모두 제공하는 것이 기본입니다.
• "올바른 형식, 적절한 시기": 정보 프레젠테이션 및 타이밍의 중요성을 강조합니다. 간결한 요약이 원시 데이터보다 나은 경우가 많으며 명확한 툴 스키마가 모호한 지침보다 효과적입니다. 모델이 관련 없는 정보에 주의를 잃지 않도록 요청 시 컨텍스트를 제공하는 것이 중요합니다.
• "작업을 안정적으로 완료": 이것이 컨텍스트 엔지니어링의 궁극적인 목표입니다. AI 애플리케이션을 지속적으로 고품질 출력을 생성할 수 있는 안정적인 시스템으로 변환합니다. 정확한 컨텍스트 관리를 통해 출력 일관성이 향상되고, 환각 현상이 줄어들며, 복잡하고 긴 주기의 인텔리전트 에이전트 워크플로를 지원합니다.

프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로의 진화

컨텍스트 엔지니어링과 프롬프트 엔지니어링 모두 LLM 출력을 최적화하는 것을 목표로 하지만 범위, 성격 및 목표가 다릅니다. 시스템 수준 비교는 이러한 차이점을 강조합니다.

• 범위: 프롬프트 엔지니어링은 단일 상호 작용 또는 텍스트 문자열 최적화에 초점을 맞추는 반면 컨텍스트 엔지니어링은 전체 작업 라이프사이클을 포괄하는 전체 정보 생태계에 초점을 맞춥니다.
• 역동성: 프롬프트는 일반적으로 정적이지만 컨텍스트는 작업에 따라 동적으로 생성되며 상호 작용 중에 진화합니다.
• 입력 구성: 프롬프트 엔지니어는 사용자 쿼리를 중심으로 입력을 구축하지만 컨텍스트 엔지니어는 사용자 쿼리를 시스템 지침, 검색된 문서, 도구 출력 및 대화 기록을 포함하는 더 큰 "컨텍스트 패키지"의 일부로 간주합니다.
• 유추: 프롬프트가 연극의 단 한 줄과 같다면 컨텍스트는 영화의 전체 세트, 배경 스토리 및 스크립트와 같으며 함께 깊이와 의미를 제공합니다.

아래 표는 두 가지를 추가로 비교합니다.

프롬프트 엔지니어링 vs. 컨텍스트 엔지니어링

AI 엔지니어링 재정의

프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로의 이러한 전환은 AI 엔지니어의 역할을 재구성합니다. 프롬프트 엔지니어링은 입력 문자열을 완성하는 데 초점을 맞추고 언어학과 논리 분야의 기술을 요구합니다. 그러나 데이터베이스, API 및 메모리에서 이러한 입력을 동적으로 조립하는 시스템을 구축하는 작업이 되면 핵심 기술은 소프트웨어 엔지니어링 및 시스템 아키텍처로 전환됩니다.

LangChain 및 LlamaIndex와 같은 프레임워크는 컨텍스트 엔지니어링을 지원하기 때문에 인기가 있으며 Chains, Graphs 및 Agents와 같은 동적 컨텍스트 어셈블리 시스템을 구축하기 위한 아키텍처 패턴을 제공합니다.

컨텍스트 엔지니어링의 부상은 AI 개발이 모델 중심의 틈새 분야에서 주류 소프트웨어 엔지니어링 분야로 이동하고 있음을 나타냅니다. 주요 과제는 모델 자체가 아니라 모델을 중심으로 구축된 전체 애플리케이션 스택입니다.

컨텍스트 : 해부 및 원칙

이 섹션에서는 "컨텍스트"의 구성 요소에 대해 자세히 설명하고 효과적인 관리를 위한 원칙을 설명합니다.

컨텍스트 창 해체

컨텍스트 창은 모델이 응답을 생성할 때 "볼" 수 있거나 "기억"할 수 있는 총 정보입니다. 완전한 "컨텍스트 패키지"는 제공된 모든 정보의 합입니다.

• 지침/시스템 프롬프트: 이 기본 레이어는 모델의 동작을 정의하고 역할, 스타일, 규칙, 제약 조건 및 목표를 설정합니다.
• 사용자 프롬프트: 지능형 에이전트를 트리거하는 직접적인 질문 또는 작업 지침입니다.
• 대화 기록/단기 기억: 이전 교환은 직접적인 컨텍스트를 제공하며, 컨텍스트 창 제한으로 인해 가지치기 또는 요약을 통해 관리됩니다.
• 장기 기억: 사용자 기본 설정, 프로젝트 요약 또는 기억하도록 명시적으로 알려진 사실과 같이 상호 작용에서 배운 정보를 기록하는 영구적인 지식 기반입니다.
• 검색된 정보/RAG: 지식 차단을 극복하고 사실 기반 응답을 보장하기 위해 시스템은 외부 지식 소스에서 관련 정보를 동적으로 검색합니다.
• 사용 가능한 도구: 호출 가능한 기능 또는 내장 도구의 스키마 및 설명을 정의하여 모델에 알뿐만 아니라 행동할 수 있는 능력을 제공합니다.
• 도구 출력: 도구 호출 결과는 모델이 후속 추론 및 조치에 사용할 수 있도록 컨텍스트에 다시 삽입해야 합니다.
• 구조화된 출력 스키마: 구조화되고 예측 가능한 결과를 안내하기 위해 예상되는 출력 형식 (예 : JSON 스키마)을 정의합니다.

"운영 체제로서의 LLM" 프레임워크

이 유추는 컨텍스트 관리를 이해하고 실천하기 위한 견고한 이론적 프레임워크를 제공합니다.

• CPU로서의 LLM, RAM으로서의 컨텍스트 창: 이 유추는 컨텍스트 창을 제한되고 가치 있는 리소스로 배치합니다. 컨텍스트 엔지니어링은 운영 체제 관리와 같으며 적절한 정보를 적시에 작업 메모리에 효율적으로 로드합니다.

• 커널 컨텍스트 대 사용자 컨텍스트: 이 프레임워크는 컨텍스트를 두 개의 레이어로 나눕니다. 커널 공간과 사용자 공간과 유사합니다.

  • 커널 컨텍스트: 지능형 에이전트의 관리되고, 가변적이며, 지속적인 상태를 나타냅니다. LLM이 관찰할 수 있지만 제어된 "시스템 호출"을 통해서만 수정할 수 있는 핵심 메모리 블록과 파일 시스템을 포함합니다.
  • 사용자 컨텍스트: 동적 상호 작용이 발생하는 "사용자 공간" 또는 메시지 버퍼를 나타냅니다. 사용자 메시지, 도우미 응답 및 권한이 없는 "사용자 프로그램" 도구에 대한 호출을 포함합니다.

• 시스템 호출 및 사용자 지정 도구: 이 구별은 에이전트가 내부 상태 및 외부 세계와 상호 작용하는 방식을 명확히 합니다. 시스템 호출은 에이전트의 영구 상태를 변경하는 커널 컨텍스트를 수정하는 반면 사용자 지정 도구는 외부 정보를 사용자 컨텍스트로 가져옵니다.

컨텍스트 엔지니어링의 지침 원칙

효과적인 컨텍스트 엔지니어링은 실무자로부터 파생된 핵심 원칙을 따라 안정적인 지능형 에이전트 시스템을 구축합니다.

• 지속적이고 포괄적인 컨텍스트: "모든 것을 보기"라고도 하는 이 원칙은 에이전트가 이전 사용자 상호 작용, 도구 호출 출력, 내부 사고 프로세스 및 중간 결과를 포함하여 전체 운영 기록에 액세스할 수 있도록 요구합니다.
• 조정되지 않은 병렬 처리를 피하십시오: 공유되고 지속적으로 업데이트되는 컨텍스트 없이 여러 하위 에이전트 또는 하위 작업이 병렬로 작동하도록 허용하면 거의 불가피하게 출력 불일치, 상충되는 목표 및 오류가 발생합니다.
• 동적이고 진화하는 컨텍스트: 컨텍스트는 정적 정보 블록이 되어서는 안 됩니다. 작업 진행 상황에 따라 동적으로 조립되고 진화해야 하며 런타임에 정보를 획득하거나 업데이트해야 합니다.
• 전체 컨텍스트 범위: 모델은 최신 사용자 질문뿐만아니라 필요할 수 있는 모든 정보를 제공받아야 합니다. 전체 입력 패키지 (지침, 데이터, 기록 등)는 신중하게 설계해야 합니다.

컨텍스트 관리 전략 :

쓰기 : 컨텍스트 유지 :

여기에는 향후 사용을 위해 즉각적인 컨텍스트 밖의 정보를 저장하여 에이전트의 메모리 기능을 구축하는 것이 포함됩니다.

• 스크래치패드: 세션 내에서 단기 메모리를 저장하는 데 사용됩니다.
• 메모리 시스템: 여러 세션에서 장기 메모리를 구축하는 데 사용됩니다.

선택 : 컨텍스트 검색 :

여기에는 외부 스토리지에서 적절한 정보를 적절한 시기에 컨텍스트 창으로 가져오는 것이 포함됩니다.

• 메모리/스크래치패드에서 선택: 에이전트는 과거 지식을 회상해야 할 때 지속적인 메모리 및 스크래치패드를 효과적으로 쿼리할 수 있어야 합니다.
• 도구에서 선택: 에이전트가 사용할 수 있는 도구가 많은 경우 도구 설명 자체에 RAG 기술을 적용하여 현재 작업에 따라 가장 관련성이 높은 도구만 동적으로 검색하고 제공하는 것이 효율적입니다.
• 지식에서 선택: 이것은 Retrieval-Augmented Generation (RAG)의 핵심 기능으로, 외부 지식 기반에서 사실 정보를 동적으로 획득하여 모델의 답변 능력을 향상시킵니다.

압축 : 컨텍스트 최적화 :

여기에는 핵심 정보를 유지하면서 컨텍스트에 사용되는 토큰 수를 줄이는 것이 포함됩니다.

• 요약: LLM을 사용하여 긴 대화 기록, 문서 또는 도구 출력을 요약하고 주요 정보를 추출합니다.
• 트리밍: 대화 기록이 너무 길 때 단순히 가장 빠른 대화 라운드를 제거하는 등 휴리스틱 규칙을 사용하여 컨텍스트를 줄입니다.

격리 : 컨텍스트 분할 :

여기에는 모델의 초점을 개선하고 작업 복잡성을 관리하기 위해 컨텍스트를 여러 부분으로 분해하는 것이 포함됩니다.

• 다중 에이전트 시스템: 큰 작업은 여러 하위 에이전트간에 분할할 수 있으며 각 에이전트에는 자체 격리된 컨텍스트, 도구 및 지침이 있습니다.
• 샌드박스 환경: 많은 수의 토큰을 소비하는 작업은 격리된 환경에서 실행할 수 있으며 마지막 주요 결과만 메인 LLM의 컨텍스트로 반환합니다.

고급 메모리 아키텍처

메모리는 학습하고 적응할 수 있는 지능형 에이전트를 구축하는 데 핵심적입니다. 핵심 구성 요소에는 대화 기록 버퍼 및 스크래치패드를 통한 단기 메모리와 지속성 및 개인화를 위한 장기 메모리가 포함됩니다.

• 구현 기술:

  • 자동 메모리 생성: 시스템은 사용자 상호 작용을 기반으로 메모리를 자동으로 생성하고 저장할 수 있습니다.
  • 반성 메커니즘: 에이전트는 작업을 완료한 후 자신의 행동과 결과에 대해 자기 반성하고 배운 교훈을 새로운 메모리로 통합할 수 있습니다.
  • 대화 요약: 과거 대화를 정기적으로 요약하고 요약을 장기 메모리의 일부로 저장합니다.

• 구조화된 메모리 (시간적 지식 그래프): 사실뿐만 아니라 사실 간의 관계와 각 정보 조각에 대한 타임스탬프를 저장하는 더욱 진보된 메모리 아키텍처입니다.

검색 증강 생성 (RAG): 컨텍스트 엔지니어링의 주춧돌

RAG은 컨텍스트 엔지니어링에서 외부 지식을 "선택"하는 핵심 기술로, LLM을 외부 지식 기반에 연결합니다. 일반적인 RAG 시스템은 세 단계를 거칩니다.

1. 인덱싱: 문서를 의미론적 청크로 분할한 다음 임베딩 모델을 사용하여 고차원 벡터로 변환합니다. 이러한 벡터와 소스 텍스트는 벡터 데이터베이스에 저장됩니다.
2. 검색: 사용자는 동일한 임베딩 모델을 사용하여 쿼리를 벡터로 변환하고 유사한 쿼리를 가진 다른 가까운 벡터에 대해 벡터 데이터베이스를 검색합니다.
3. 생성: 시스템은 원본 쿼리와 관련 텍스트 청크를 프롬프트에 결합한 다음 적합한 답변을 생성하기 위해 LLM에 제출합니다.

고급 검색 및 순위 지정 전략

기본 RAG 아키텍처는 실제 세계에서 검색 품질을 향상시키기 위해 더 복잡한 전략이 필요한 경우가 많습니다. 의미론적 검색과 키워드 인덱스 및 순위 지정을 결합하는 것은 검색 품질을 향상시키는 데 매우 중요합니다. Anthropic의 컨텍스트 정보 검색은 LLM의 컨텍스트를 개선할 것입니다.

• 하이브리드 검색: 의미론적 검색 (벡터 기반)과 키워드 검색을 결합하여 상호 보완적인 강점을 활용합니다.
• 컨텍스트 검색: LLM을 사용하여 각 텍스트 블록의 컨텍스트에 대한 짧은 요약을 생성합니다.
• 재순위 지정: 재순위 지정 단계를 추가하여 더 강력한 모델을 사용하여 관련성을 기준으로 결과를 다시 정렬합니다.

RAG vs. 미세 조정: 전략적 의사 결정 프레임워크

RAG과 미세 조정 중에서 선택하는 것은 핵심적인 결정입니다. 선택은 프로젝트의 요구 사항에 따라 달라집니다.

• RAG의 장점:

  • 실시간 지식 통합에 적합
  • 검증 가능한 사실을 제공하여 환각 감소
  • 기업이 독점 데이터를 안전한 내부 데이터베이스 내에 유지할 수 있도록 허용

• 미세 조정의 장점:

  • 모델에 새로운 동작, 음성 스타일 또는 특수 용어를 가르치는 데 가장 적합
  • 모델의 출력을 조직의 브랜드 이미지에 맞출 수 있음

• 하이브리드 접근 방식: 모델로 최상의 성능을 얻으려면 성능을 위한 미세 조정과 정확성을 위한 RAG을 모두 사용해야 합니다.

컨텍스트 최적화 및 필터링

강력한 검색 메커니즘을 사용하더라도 컨텍스트 창을 관리하고 일반적인 오류를 피하면 여전히 오류가 발생합니다.

일반적인 실패 모드:

• 컨텍스트 유해화: 겉보기에는 사실적인 오류가 제시되면 그 시점부터 전체 시스템이 손상됩니다.
• 컨텍스트 주의 산만: 모델은 관련 없는 정보가 제시되면 주의가 산만해집니다.
• 컨텍스트 혼동: 컨텍스트 정보가 모델을 압도하여 올바른 답변에서 벗어나게 할 수 있습니다.
• 컨텍스트 충돌: 모델은 상충되는 정보로 혼란스러워하고 모순되는 답변을 생성할 수 있습니다.

해결책:

엔지니어는 이러한 실패를 완화하기 위해 필터링 기술을 채택해야 합니다. 모델의 작업 메모리가 고도로 관련성이 있고 완전히 최적화된 정보로 가득 차 있는지 확인하는 것이 실습과 이론에 필수적입니다.

컨텍스트 엔지니어링 사례 연구

다양한 응용 프로그램을 분석하면 컨텍스트 엔지니어링의 가치와 구현에 대한 더 깊은 이해를 얻을 수 있습니다.

AI 프로그래밍 도우미

• 문제: 초기 AI 프로그래밍 시도는 더 큰 코드 베이스에 대한 이해도가 거의 없이 모호한 프롬프트에 의존하여 종종 혼란스러웠습니다.
• 해결책: 프로젝트 문서, 코드 지침, 설계 패턴 및 요구 사항을 모든 엔지니어링 리소스처럼 취급합니다.

엔터프라이즈 검색 및 지식 관리

• 문제: 기존 엔터프라이즈 검색 엔진은 키워드 일치에 의존하여 사용자 의도, 직무 역할 또는 검색 이유를 이해하지 못합니다.
• 해결책: 컨텍스트를 사용하여 각 검색을 이해하는 지능형 검색 시스템을 구축합니다.

자동화된 고객 지원

• 문제: 일반 LLM은 제품 사양, 반품 정책 또는 고객 기록을 알 수 없어 부정확하거나 도움이 되지 않는 응답을 제공합니다.
• 해결책: 회사의 지식 기반에서 정보를 검색하는 시스템인 RAG 기반 챗봇을 사용하여 정확하고 개인화되며 최신 지원을 보장합니다.

개인화된 추천 엔진

• 문제: 기존 추천 시스템은 사용자의 직접적이고 구체적인 의도를 파악하는 데 어려움을 겪어 일반적인 추천이 이루어집니다.
• 해결책: 컨텍스트 엔지니어링에서는 RAG을 사용하여 경험을 더욱 대화식으로 만듭니다.

대규모 언어모델의 근본적인 결점 완화

컨텍스트 엔지니어링은 환각 및 지식 차단이라는 두 가지 근본적인 LLM 단점을 해결하는 주요 수단입니다.

환각 방지

• 문제: LLM이 불확실하거나 관련 지식이 부족하면 그럴듯하지만 사실이 아닌 정보를 조작하는 경향이 있습니다.

• 해결책: 컨텍스트 엔지니어링, 특히 RAG은 가장 효과적인 전략입니다.

  • 사실 기반 제공: 답변하는 동안 신뢰할 수 있는 소스에서 검증 가능한 문서를 제공하면 환각을 효과적으로 피할 수 있습니다.
  • 정직 "모르겠습니다.": 투명성을 위해 모델이 정보를 사용할 수 없는 경우 "모르겠습니다"를 표시하도록 지시합니다.