기술 시대의 매혹적인 충돌 속에서, 광범위한 가정용 컴퓨팅의 초기와 인공 지능의 최첨단을 잇는 이야기가 등장했습니다. 기술계의 저명한 인물이자 영향력 있는 벤처 캐피털 회사 Andreessen Horowitz의 공동 창립자인 Marc Andreessen은 최근 놀라운 업적을 조명했습니다. Meta의 Llama 인공 지능 모델의 소형 버전이 고작 128메가바이트의 RAM을 갖춘 유서 깊은 Windows 98 운영 체제에서 성공적으로 작동했다는 것입니다. 이 발견은 기술적 잠재력에 대한 강력한 상기이며 컴퓨팅의 역사적 궤적에 대한 흥미로운 질문을 제기합니다.
25년 이상 된 하드웨어에서 정교한 AI(축소된 버전이라 할지라도)를 실행한다는 개념 자체가 거의 역설적으로 보입니다. ChatGPT나 Microsoft 자체의 Copilot과 같은 도구를 구동하는 기술인 현대 생성 AI는 일반적으로 강력한 프로세서, 상당한 메모리 할당, 그리고 종종 클라우드 기반 인프라와 연관됩니다. Microsoft 자체도 AI 기능, 특히 Copilot 어시스턴트를 최신 운영 체제인 Windows 11과 AI 워크로드를 염두에 두고 명시적으로 설계된 새로운 세대의 하드웨어인 Copilot+ PC에 깊숙이 통합하는 데 막대한 투자를 해왔습니다. 이러한 대조는 Windows 98 실험을 더욱 두드러지게 만듭니다. 이는 특정 AI 기능에 진정으로 필요한 리소스에 대한 우리의 가정을 뒤흔들고 대안적인 기술 타임라인을 엿볼 수 있게 합니다.
과거의 부활: 실험 뒤의 헤라클레스적 노력
Andreessen이 이 성과에 더 넓은 관심을 끌었지만, 기술적인 중노동은 초기 작업, 특히 Exo Labs 팀의 작업에서 비롯된 것으로 보입니다. 그들이 현대 AI를 그토록 오래된 기계에 구동시키기 위한 여정은 결코 간단하지 않았습니다. 그것은 디지털 고고학과 창의적인 문제 해결의 실습이었으며, 당시와 현재 컴퓨팅 간의 광대한 차이를 강조했습니다.
첫 번째 장애물은 기본적인 물류 및 하드웨어 호환성이었습니다. Windows 98 시대의 작동하는 하드웨어를 찾는 것만으로도 충분히 어렵습니다. 하지만 단순히 기계를 부팅하는 것 이상으로, 팀은 주변 장치가 필요했습니다. 오늘날 어디에나 있는 현대적인 USB 인터페이스는 Windows 98 전성기에는 표준이 아니었습니다. 이로 인해 구형 PS/2 커넥터를 사용하는 호환 입력 장치(많은 젊은 기술 애호가들이 본 적 없을 수도 있는 키보드와 마우스)를 조달해야 했습니다.
물리적 설정이 해결된 후, 다음 중요한 장애물은 데이터 전송이었습니다. 고속 USB 포트나 원활한 네트워크 통합과 같은 현대적인 연결 옵션이 없는 기계에 필요한 AI 모델 파일과 개발 도구를 어떻게 가져올 수 있을까요? 이는 아마도 파일을 CD에 굽거나 당시의 제한된 네트워크 프로토콜을 활용하는 등 더 오래되고 느린 방법에 의존해야 했을 것이며, 간단한 파일 복사를 잠재적으로 시간 소모적인 프로세스로 만들었을 것입니다.
그러나 핵심 기술적 과제는 오래된 환경을 위한 현대 코드 컴파일에 있었습니다. Meta의 Llama 아키텍처를 기반으로 한 AI 모델은 현대적인 프로그래밍 관행과 언어를 사용하여 구축되었습니다. 이 코드를 Windows 98에서 이해하고 실행할 수 있게 만들려면 오래된 운영 체제에서 실행될 수 있으면서도 AI 코드의 복잡성을 처리할 수 있는 컴파일러(소스 코드를 기계어로 변환하는 프로그램)가 필요했습니다.
Exo Labs는 처음에 Borland C++ 5.02에 의존했습니다. 이는 그 자체로 소프트웨어 역사 조각인 26년 된 통합 개발 환경(IDE) 및 컴파일러 조합으로, Windows 98에서 기본적으로 실행되었습니다. 이 선택은 현대 코드베이스와 빈티지 운영 체제 사이의 잠재적인 다리를 나타냈습니다. 그러나 그 길은 복잡함으로 가득했습니다. 현대 C++ 표준 및 라이브러리의 복잡성은 Borland 컴파일러와 Windows 98 환경의 기능 및 제한 사항과 조화시키기 어려운 것으로 판명되었습니다. 호환성 문제가 발생하여 팀은 방향을 전환해야 했습니다.
그들의 해결책은 더 오래된 버전의 C 프로그래밍 언어로 회귀하는 것이었습니다. C는 기초 언어이자 C++의 전신이지만, 오래된 C 표준을 사용한다는 것은 C++가 더 우아하게 처리하는 일부 고수준 추상화 및 편의성을 희생하는 것을 의미했습니다. 이는 C++가 더 우아하게 처리하는 함수 및 변수와 같은 요소를 수동으로 관리하는 더 힘든 코딩 프로세스를 필요로 했습니다. 진행은 필연적으로 느렸고, 오래된 개발 도구가 쉽게 잡아내지 못할 수 있는 오류를 피하기 위해 세심한 주의가 필요했습니다.
메모리 압박: 제한된 리소스를 위한 Llama 길들이기
아마도 가장 어려운 제약은 **극도로 제한된 랜덤 액세스 메모리(RAM)**였을 것입니다. 대상 기계는 128메가바이트의 RAM만 가지고 있었습니다. 이를 이해하기 위해, 현대 스마트폰은 일상적으로 8, 12 또는 심지어 16 기가바이트의 RAM(기가바이트는 대략 1000메가바이트)을 탑재하고 출시됩니다. 게임이나 전문 작업을 위해 설계된 고성능 PC는 종종 32GB, 64GB 또는 그 이상을 특징으로 합니다. 이렇게 작은 메모리 공간 내에서 AI 모델과 같은 복잡한 애플리케이션을 실행하는 것은 빗자루 찬장에서 복잡한 수술을 수행하는 것과 같습니다.
Meta의 Llama 모델 제품군은 일반적으로 OpenAI의 GPT-4와 같은 거대 모델보다 리소스 효율적인 것으로 간주되지만, 여전히 수십억 개의 매개변수를 가진 버전을 포함합니다. 예를 들어, Llama 2 아키텍처에는 최대 700억 개의 매개변수로 확장되는 모델이 포함됩니다. 이러한 더 큰 모델은 상당한 계산 능력과 결정적으로 모델 가중치를 로드하고 정보 처리 및 응답 생성과 관련된 계산을 관리하기 위한 방대한 양의 메모리를 요구합니다. 표준 Llama 2 모델은 128MB 제약 조건 내에서 실행하는 것이 전혀 불가능할 것입니다.
따라서 실험의 성공은 Llama 아키텍처의 고도로 최적화되고 상당히 작은 반복을 사용하거나 개발하는 데 달려 있었습니다. 이 특수 버전은 심각한 하드웨어 제한 하에서 작동하도록 특별히 맞춤화되어야 했습니다. 이는 모델 양자화(모델 계산에 사용되는 숫자의 정밀도 감소) 및 가지치기(신경망의 덜 중요한 부분 제거)와 같은 기술을 포함하여 메모리 및 계산 공간을 대폭 줄였을 가능성이 높습니다. Exo Labs는 필요한 특정 수정을 보여주는 적응된 버전을 GitHub에서 사용할 수 있도록 했습니다.
구식 하드웨어에서 실행되는 이 작은 AI는 더 크고 클라우드에서 실행되는 사촌들의 광범위한 지식이나 미묘한 대화 능력을 갖지 못할 것입니다. 그 기능은 제한될 것입니다. 그러나 그것이 실행되고 기본적인 생성 작업을 수행할 수 있다는 사실 자체가 중요한 기술적 성과를 나타냅니다. 이는 대규모 언어 모델의 핵심 개념이 원칙적으로 극적으로 축소될 수 있음을 보여줍니다. 비록 그러한 극단에서는 실용적인 유용성이 제한될지라도 말입니다.
Andreessen의 도발: 대화형 컴퓨팅의 잃어버린 타임라인?
Marc Andreessen은 이 기술 시연을 이용하여 컴퓨팅의 역사와 잠재적 미래에 대한 더 광범위하고 도발적인 주장을 펼쳤습니다. 그의 성찰은 단순히 오래된 하드웨어에서 새로운 소프트웨어를 실행하는 기술적 호기심에 관한 것이 아니었습니다. 그것은 인간-컴퓨터 상호 작용의 가능한 대안 역사에 대한 사색이었습니다.
그는 26년 된 Dell PC에서 Llama가 성공적으로 작동했다는 것은 수십 년에 걸친 놓친 기회를 의미한다고 제안함으로써 이를 명확히 했습니다. “그 모든 오래된 PC들은 말 그대로 이 모든 시간 동안 스마트했을 수 있었습니다.”라고 Andreessen은 주장했습니다. “우리는 이제 30년 동안 우리 컴퓨터와 대화할 수 있었을 것입니다.”
이 발언은 AI 개발 궤적이 개인용 컴퓨팅의 부상과 다르게 수렴된 세상을 상상하도록 초대합니다. PC가 주로 계산, 문서 작성, 그리고 결국 인터넷 접속을 위한 도구였던 대신, 아마도 훨씬 일찍 대화 파트너로 진화했을 수 있습니다. 떠오르는 이미지는 사용자가 Windows 95, 98 또는 그 이전 기계와 자연어를 통해 상호 작용하고, 질문하고, 도움을 받고, 현대 디지털 비서와 정교한 LLM의 출현으로 주류 현실이 된 방식으로 대화에 참여하는 모습입니다.
물론 이것은 중요한 반사실적 도약입니다. 방대한 데이터 세트, 정교한 신경망 아키텍처(Llama 및 GPT 모델의 기반이 되는 Transformer 아키텍처 등), 그리고 훈련을 위한 막대한 계산 능력에 의존하는 오늘날 우리가 이해하는 생성 AI는 비교적 최근의 현상입니다. 1980년대와 1990년대의 AI 연구는 야심찼지만 전문가 시스템 및 기호 추론과 같은 다른 패러다임에 초점을 맞췄습니다. Exo Labs가 시연한 축소된 Llama를 실행할 수 있었던 당시의 하드웨어는 오늘날 시스템보다 훨씬 덜 강력했으며, 유능한 생성 모델을 훈련하는 데 필요한 방대한 디지털 데이터 세트는 접근 가능한 형태로 존재하지 않았습니다.
Andreessen은 1980년대 AI 붐의 낙관론을 언급하며 이 맥락을 인정했습니다. “80년대의 많은 똑똑한 사람들은 이 모든 것이 그때 일어날 것이라고 생각했습니다.” 그 시대는 인공 지능에 대한 상당한 투자와 연구를 보았지만, 궁극적으로 기술이 가장 야심 찬 약속을 이행하지 못했을 때 자금 지원과 관심이 감소하는 시기인 “AI 겨울”로 이어졌습니다. 계산 능력, 데이터 가용성 및 알고리즘 접근 방식의 한계는 심오했습니다.
따라서 Andreessen의 발언은 아마도 정교하고 인간과 유사한 AI가 1990년대 하드웨어에서 우리가 지금 경험하는 방식으로 실현 가능했다는 문자 그대로의 주장이 아니라 사고 실험으로 가장 잘 이해될 것입니다. 이는 연구 우선 순위, 알고리즘 혁신 및 하드웨어 개발이 다른 경로를 따랐다면 잠금 해제되었을 수 있는 잠재력을 강조합니다. 이는 어떤 형태의 지능적 상호 작용을 위한 구성 요소가 기술적으로 달성 가능했을 수 있다는 생각을 강조합니다. 비록 그 결과가 오늘날의 AI보다 훨씬 단순했을지라도 말입니다.
대조되는 시대: 다이얼업 꿈에서 AI 주입 현실까지
Windows 98 실험은 현재 AI 통합 환경과 극명한 대조를 이룹니다. 오늘날 AI는 클라우드 중심 서비스에서 운영 체제 및 하드웨어 자체에 깊숙이 내장되는 방향으로 빠르게 이동하고 있습니다.
Microsoft의 Copilot 및 Copilot+ PC 추진은 이러한 추세를 잘 보여줍니다. Windows 11은 문서 요약 및 이메일 초안 작성부터 이미지 생성 및 시스템 설정 조정에 이르기까지 다양한 작업에 대한 AI 지원을 제공하는 Copilot의 수많은 진입점을 특징으로 합니다. 새로운 Copilot+ PC 사양은 AI 계산을 효율적으로 가속화하도록 설계된 특수 실리콘인 신경 처리 장치(NPU) 포함을 의무화합니다. 이는 AI 처리가 원격 서버에만 의존하는 대신 로컬에서 처리되는 개인용 컴퓨터의 핵심 기능이 되고 있음을 의미하는 근본적인 변화입니다.
이 현대적인 접근 방식은 풍부한 리소스를 가정하고 활용합니다. Copilot+ PC는 최소 16GB의 RAM과 빠른 솔리드 스테이트 스토리지를 필요로 하며, 이는 Windows 98 기계의 초라한 128MB를 훨씬 능가하는 사양입니다. 클라이언트 측 실행에 최적화되었지만 사용되는 AI 모델은 실험에 사용된 소형 Llama 버전보다 훨씬 복잡하고 성능이 뛰어납니다. 이들은 수십 년간의 알고리즘 개선, 방대한 훈련 데이터 세트, 그리고 그들의 요구에 맞게 특별히 설계된 하드웨어의 혜택을 받습니다.
이 대조는 여러 가지 점을 조명합니다.
- 소프트웨어 최적화 대 비대화: Exo Labs 실험은 현대 알고리즘을 매우 제한된 환경에 강제로 밀어 넣는 극단적인 최적화의 증거입니다. 이는 때때로 비효율성이나 “비대화”로 이어지는, 계속 증가하는 하드웨어 리소스를 가정하는 현대 소프트웨어의 경향을 암묵적으로 비판합니다.
- 하드웨어의 진화: 일반적인 1998년 PC와 2024년 Copilot+ PC 간의 계산 능력과 메모리의 순수한 차이는 엄청나며, 여러 세대의 Moore의 법칙과 아키텍처 혁신을 나타냅니다.
- 데이터 접근성: 현대 LLM의 훈련은 Windows 98 시대에는 상상할 수 없었던 인터넷 규모의 데이터 세트에 의존합니다. 당시 디지털 우주는 너무 작고 연결되지 않았습니다.
- 알고리즘 혁신: 2017년 Transformer 모델과 같은 아키텍처의 개발은 오늘날 생성 AI에서 볼 수 있는 확장성과 성능을 가능하게 한 중추적인 순간이었습니다. 이전 AI 접근 방식에는 근본적인 한계가 있었습니다.
Andreessen이 30년 전 말하는 컴퓨터를 꿈꾸는 동안, 현실은 오늘날의 AI 경험에 필요한 하드웨어 성능, 데이터 가용성 및 알고리즘 혁신의 융합이 훨씬 더 최근에야 발생했다는 것입니다.
이것이 의미하는 모든 것: 향수를 넘어서는 성찰
Windows 98에서 Llama 모델을 성공적으로 배포한 것은 단순히 영리한 해킹, 기술 애호가를 위한 향수를 자극하는 스턴트일까요? 아니면 더 깊은 의미를 지니고 있을까요? 이는 틀림없이 여러 목적을 수행합니다.
- 극단적인 확장성 시연: 대규모 언어 모델의 기본 원칙이 믿을 수 없을 정도로 엄격한 리소스 제약 하에서 작동하도록 조정될 수 있음을 증명합니다. 이는 저전력 임베디드 시스템, IoT 장치 또는 세계 여러 지역에서 여전히 사용 중인 오래된 하드웨어에 AI를 배포하는 데 잠재적인 영향을 미칩니다.
- 제약의 힘 강조: 심각한 제한 내에서 작업하는 것은 종종 혁신과 효율성을 강요합니다. Exo Labs 팀은 창의적인 해결책을 찾고 무자비하게 최적화해야 했으며, 이는 리소스가 풍부한 환경에서도 가치 있는 기술입니다.
- 가정 도전: 현대 애플리케이션에서 사용되는 모든 계산 능력과 메모리가 제공하는 가치에 엄격하게 필요한지 성찰하도록 유도합니다. 일부 소프트웨어는 더 간결하고 효율적일 수 있을까요?
- 기술 경로의 우발성 설명: 역사는 거의 직선을 따르지 않습니다. 일부 기초적인 AI가 오래된 하드웨어에서 가능했을 수 있다는 사실은 다른 선택, 연구 방향 또는 우연한 발견이 우리를 다른 기술 경로로 이끌었을 수 있음을 강조합니다.
이 실험은 역사를 다시 쓰지 않으며, 2024년의 정교한 AI 경험이 1998년에 어떻게든 달성 가능했다는 의미도 아닙니다. 처리 능력, 메모리, 데이터, 알고리즘 등 가능하게 하는 기술의 격차는 여전히 엄청납니다. 그러나 이는 흥미로운 데이터 포인트, 엔지니어링 독창성에 대한 증거, 그리고 기술 진보의 구불구불한 길을 숙고하는 촉매제를 제공합니다. 이는 어제의 한계가 때때로 오늘의 지식으로 극복될 수 있으며, 놀라운 결과를 낳고 현재와 미래에 무엇이 가능할지 재고하도록 촉구한다는 것을 상기시킵니다. 오래된 기계 속의 유령은 과거의 모습뿐만 아니라 아마도 단순성과 효율성에 내재된 미개척 잠재력에 대해서도 속삭입니다.