엔터프라이즈 AI 애플리케이션 구축의 실제 과제
매년 수많은 자원이 대규모 언어 모델(LLM) 훈련에 투입되지만, 이러한 모델을 실용적이고 유용한 애플리케이션에 효과적으로 통합하는 데에는 여전히 상당한 어려움이 남아 있습니다.
파인튜닝의 환상
파인튜닝과 검색 증강 생성(RAG)은 일반적으로 사전 훈련된 AI 모델의 지식과 기능을 향상시키는 데 잘 확립된 방법으로 간주됩니다. 그러나 Aleph Alpha CEO인 Jonas Andrulis는 현실이 더 복잡하다고 지적합니다.
“1년 전에는 파인튜닝이 마법의 해결책이라는 믿음이 널리 퍼져 있었습니다. AI 시스템이 원하는 대로 작동하지 않으면 그 답은 단순히 파인튜닝이었습니다. 그렇게 간단하지 않습니다.”라고 그는 설명했습니다.
파인튜닝은 모델의 스타일이나 동작을 수정할 수 있지만 새로운 정보를 가르치는 데 가장 효과적인 접근 방식은 아닙니다. 파인튜닝만으로 모든 AI 애플리케이션 문제를 해결할 수 있다는 기대는 오해입니다.
RAG: 대안적인 접근 방식
RAG는 외부 아카이브에서 정보를 검색하는 사서처럼 작동하여 대안을 제공합니다. 이 접근 방식을 사용하면 모델을 재훈련하거나 파인튜닝하지 않고도 데이터베이스 내의 정보를 업데이트하고 변경할 수 있습니다. 또한 생성된 결과를 정확성을 위해 인용하고 감사할 수 있습니다.
“특정 지식은 항상 문서화되어야 하며 LLM의 매개변수 내에 저장되어서는 안 됩니다.”라고 Andrulis는 강조했습니다.
RAG는 수많은 이점을 제공하지만 그 성공 여부는 모델이 이해할 수 있는 형식으로 주요 프로세스, 절차 및 제도적 지식을 적절하게 문서화하는 데 달려 있습니다. 불행히도 이것은 종종 그렇지 않습니다.
문서가 존재하더라도 기업은 문서나 프로세스가 기본 모델을 훈련하는 데 사용된 데이터와 크게 다른 분포 외 데이터에 의존하는 경우 문제가 발생할 수 있습니다. 예를 들어 영어 데이터 세트만으로 훈련된 모델은 특히 과학 공식이 포함된 독일어 문서로 어려움을 겪을 것입니다. 많은 경우 모델이 데이터를 전혀 해석할 수 없을 수도 있습니다.
따라서 Andrulis는 의미 있는 결과를 얻으려면 일반적으로 파인튜닝과 RAG의 조합이 필요하다고 제안합니다. 이 하이브리드 접근 방식은 각 방법의 강점을 활용하여 개별적인 한계를 극복합니다.
격차 해소
Aleph Alpha는 기업과 국가가 자체적인 주권 AI를 개발하는 것을 막는 과제를 해결함으로써 유럽의 DeepMind로 차별화하는 것을 목표로 합니다.
주권 AI는 국가 내에서 구축되거나 배포된 하드웨어에서 국가의 내부 데이터 세트를 사용하여 훈련되거나 파인튜닝된 모델을 의미합니다. 이 접근 방식은 많은 조직과 정부에 중요한 데이터 개인 정보 보호, 보안 및 제어를 보장합니다.
“우리는 기업과 정부가 자체적인 주권 AI 전략을 구축할 수 있는 운영 체제, 기반이 되기 위해 노력합니다.”라고 Andrulis는 말했습니다. “우리는 필요한 곳에서 혁신하는 동시에 가능한 경우 오픈 소스 및 최첨단 기술을 활용하는 것을 목표로 합니다.”
이것은 때때로 Aleph의 Pharia-1-LLM과 같은 모델을 훈련하는 것을 포함하지만 Andrulis는 Llama 또는 DeepSeek와 같은 기존 모델을 복제하려고 하지 않는다고 강조합니다. 그들의 초점은 특정 과제를 해결하는 고유한 솔루션을 만드는 데 있습니다.
“저는 항상 우리 연구가 다른 모든 사람들이 하는 것을 단순히 복사하는 것이 아니라 의미 있게 다른 것에 집중하도록 지시합니다. 왜냐하면 그것은 이미 존재하기 때문입니다.”라고 Andrulis는 말했습니다. “우리는 또 다른 Llama나 DeepSeek를 구축할 필요가 없습니다. 왜냐하면 그것들은 이미 존재하기 때문입니다.”
대신 Aleph Alpha는 이러한 기술의 채택을 단순화하고 간소화하는 프레임워크를 구축하는 데 집중합니다. 최근의 예는 분포 외 데이터를 보다 효율적으로 이해할 수 있는 모델을 파인튜닝하는 것을 목표로 하는 새로운 토크나이저 없는 또는 “T-Free” 훈련 아키텍처입니다.
기존의 토크나이저 기반 접근 방식은 모델을 효과적으로 파인튜닝하기 위해 많은 양의 분포 외 데이터가 필요한 경우가 많습니다. 이것은 계산 비용이 많이 들고 충분한 데이터를 사용할 수 있다고 가정합니다.
Aleph Alpha의 T-Free 아키텍처는 토크나이저를 제거하여 이 문제를 해결합니다. 핀란드어로 된 Pharia LLM에 대한 초기 테스트에서는 토크나이저 기반 접근 방식에 비해 훈련 비용과 탄소 발자국이 70% 감소한 것으로 나타났습니다. 이 혁신적인 접근 방식은 파인튜닝을 보다 접근하기 쉽고 지속 가능하게 만듭니다.
Aleph Alpha는 또한 부정확하거나 도움이 되지 않는 결론으로 이어질 수 있는 문서화된 지식의 격차를 해결하기 위한 도구를 개발했습니다.
예를 들어 규정 준수 질문과 관련된 두 계약이 서로 모순되는 경우 “시스템은 사람에게 접근하여 ‘불일치를 발견했습니다… 이것이 실제 충돌인지 피드백을 제공해 주시겠습니까?’라고 말할 수 있습니다.”라고 Andrulis는 설명했습니다.
Pharia Catch라고 불리는 이 프레임워크를 통해 수집된 정보는 애플리케이션의 지식 기반으로 다시 공급되거나 보다 효과적인 모델을 파인튜닝하는 데 사용될 수 있습니다. 이 피드백 루프는 시간이 지남에 따라 AI 시스템의 정확성과 신뢰성을 향상시킵니다.
Andrulis에 따르면 이러한 도구는 Aleph Alpha의 기술을 구현하기 위해 최종 고객과 협력하는 PwC, Deloitte, Capgemini 및 Supra와 같은 파트너를 유치했습니다. 이러한 파트너십은 실제 애플리케이션에서 Aleph Alpha 솔루션의 가치와 실용성을 입증합니다.
하드웨어 요소
소프트웨어와 데이터만이 주권 AI 채택자가 직면한 유일한 과제가 아닙니다. 하드웨어는 또 다른 중요한 고려 사항입니다.
서로 다른 기업과 국가는 국내에서 개발된 하드웨어에서 실행하기 위한 특정 요구 사항이 있거나 워크로드를 실행할 수 있는 위치를 단순히 지시할 수 있습니다. 이러한 제약 조건은 하드웨어 및 인프라 선택에 큰 영향을 미칠 수 있습니다.
이는 Andrulis와 그의 팀이 광범위한 하드웨어 옵션을 지원해야 함을 의미합니다. Aleph Alpha는 AMD, Graphcore 및 Cerebras를 포함한 다양한 하드웨어 파트너 그룹을 유치했습니다.
지난달 Aleph Alpha는 AMD의 MI300 시리즈 가속기를 사용하기 위해 AMD와 파트너십을 발표했습니다. 이 협력은 AMD의 고급 하드웨어를 활용하여 AI 훈련 및 추론을 가속화할 것입니다.
Andrulis는 또한 Softbank에 인수된 Graphcore와 독일 군대를 위한 AI 모델을 훈련하는 데 사용되는 CS-3 웨이퍼 스케일 가속기를 보유한 Cerebras와의 협력을 강조했습니다. 이러한 파트너십은 고객의 특정 요구 사항을 충족하기 위해 다양한 하드웨어 제공업체와 협력하려는 Aleph Alpha의 의지를 입증합니다.
이러한 협력에도 불구하고 Andrulis는 Aleph Alpha의 목표가 관리형 서비스 또는 클라우드 제공업체가 되는 것이 아니라고 주장합니다. “우리는 결코 클라우드 제공업체가 되지 않을 것입니다.”라고 그는 말했습니다. “저는 고객이 자유롭고 갇히지 않기를 바랍니다.” 고객의 자유와 유연성에 대한 이러한 약속은 Aleph Alpha를 다른 많은 AI 회사와 차별화합니다.
앞으로 나아갈 길: 복잡성 증가
앞으로 Andrulis는 AI 애플리케이션 구축이 챗봇에서 보다 정교한 문제 해결이 가능한 에이전트 AI 시스템으로 업계가 전환됨에 따라 더욱 복잡해질 것으로 예상합니다.
에이전트 AI는 지난 한 해 동안 상당한 관심을 받았으며 모델 빌더, 소프트웨어 개발자 및 하드웨어 공급업체는 다단계 프로세스를 비동기적으로 완료할 수 있는 시스템을 약속했습니다. 초기 예로는 OpenAI의 Operator와 Anthropic의 컴퓨터 사용 API가 있습니다. 이러한 에이전트 AI 시스템은 AI 기능의 상당한 발전을 나타냅니다.
“작년에 우리는 주로 문서 요약이나 글쓰기 지원과 같은 간단한 작업에 집중했습니다.”라고 그는 말했습니다. “이제는 언뜻 보기에 genAI 문제처럼 보이지 않는 것들, 사용자 경험이 챗봇이 아닌 것들로 인해 더욱 흥미로워지고 있습니다.” 보다 복잡하고 통합된 AI 애플리케이션으로의 이러한 전환은 업계에 새로운 과제와 기회를 제시합니다.
엔터프라이즈 AI 애플리케이션 구축의 주요 과제:
- 모델 훈련과 애플리케이션 통합 간의 격차 해소: LLM의 기능을 실제 애플리케이션으로 효과적으로 변환하는 것은 여전히 중요한 장애물입니다.
- 파인튜닝의 한계 극복: 파인튜닝만으로는 AI 모델에 새로운 정보를 가르치거나 특정 작업에 적응시키는 데 종종 충분하지 않습니다.
- 데이터의 품질 및 접근성 보장: RAG는 잘 문서화되고 쉽게 접근할 수 있는 데이터에 의존하며 이는 많은 조직에서 종종 부족합니다.
- 분포 외 데이터 처리: AI 모델은 훈련된 데이터와 다른 데이터를 처리할 수 있어야 하며 이를 위해서는 특수 기술이 필요합니다.
- 하드웨어 제약 조건 해결: 서로 다른 기업과 국가는 고려해야 할 다양한 하드웨어 요구 사항을 가지고 있습니다.
- 데이터 개인 정보 보호 및 보안 유지: 주권 AI는 데이터가 국가 경계 내에서 안전하게 처리되고 저장되도록 보장해야 합니다.
- 에이전트 AI 시스템 개발: 복잡한 다단계 프로세스를 비동기적으로 수행할 수 있는 AI 애플리케이션을 구축하는 것은 어렵지만 유망한 연구 분야입니다.
엔터프라이즈 AI 애플리케이션 구축의 주요 기회:
- 혁신적인 AI 솔루션 개발: 엔터프라이즈 AI 애플리케이션 구축의 과제는 특정 요구 사항을 해결하는 혁신적인 솔루션을 개발할 수 있는 기회를 창출합니다.
- 오픈 소스 기술 활용: 오픈 소스 기술은 비용을 절감하고 AI 애플리케이션 개발을 가속화하는 데 도움이 될 수 있습니다.
- 하드웨어 파트너와의 협력: 하드웨어 파트너와의 협력은 AI 애플리케이션이 특정 하드웨어 플랫폼에 최적화되도록 보장하는 데 도움이 될 수 있습니다.
- 주권 AI 기능 구축: 주권 AI는 국가와 조직에 데이터 및 AI 인프라에 대한 더 큰 제어권을 제공할 수 있습니다.
- AI로 산업 혁신: AI는 작업을 자동화하고 의사 결정을 개선하며 새로운 제품과 서비스를 창출하여 산업을 혁신할 수 있는 잠재력을 가지고 있습니다.
엔터프라이즈 AI 애플리케이션의 미래:
엔터프라이즈 AI 애플리케이션의 미래는 다음과 같은 특징을 가질 가능성이 높습니다.
- 복잡성 증가: AI 애플리케이션은 더욱 복잡하고 통합되어 전문 지식과 도구가 필요합니다.
- 데이터 품질에 대한 더 큰 초점: AI 애플리케이션이 정확하고 신뢰할 수 있는 데이터에 의존함에 따라 데이터 품질이 점점 더 중요해질 것입니다.
- 보안 및 개인 정보 보호에 대한 더 많은 강조: AI 애플리케이션이 민감한 데이터를 처리함에 따라 보안 및 개인 정보 보호가 가장 중요합니다.
- 에이전트 AI의 더 넓은 채택: 조직이 복잡한 작업을 자동화하려고 함에 따라 에이전트 AI 시스템이 더 널리 보급될 것입니다.
- 지속적인 혁신: AI 분야는 계속 빠르게 발전하여 새로운 혁신과 기회를 창출할 것입니다.
조직은 과제를 해결하고 기회를 포용함으로써 AI의 힘을 활용하여 비즈니스를 혁신하고 더 나은 미래를 만들 수 있습니다.