윤리적 데이터 소싱의 어려운 과제
기술 업계의 불가능하다는 주장에 대한 놀라운 반박으로, 헌신적인 연구팀이 많은 이들이 달성 불가능하다고 여겼던 것을 이루어냈습니다. 바로 윤리적으로 소싱된 데이터만으로 훈련된 AI 모델을 만든 것입니다. MIT, Cornell University, University of Toronto와 같은 명망 있는 기관의 전문가들이 주도한 이 획기적인 성과는 AI 개발의 미래를 위한 실행 가능하고 책임감 있는 청사진을 제시합니다. 비법은 무엇일까요? 공개적으로 라이선스가 부여되거나 퍼블릭 도메인 콘텐츠로만 구성된 세심하게 선별된 데이터 세트입니다.
이 윤리적인 AI 오아시스로의 여정은 결코 쉬운 일이 아니었습니다. 연구원들이 쉽게 인정하듯이, 진정한 병목 현상은 계산 능력이 아니라 순수한 인간의 노력이었습니다. 8테라바이트가 넘는 방대한 데이터 세트인 Common Pile v0.1을 조립하는 과정은 AI 훈련에 적합하도록 세심한 수동 정리 및 재포맷을 요구했습니다. 데이터 세트를 손상시킬 수 있는 모든 종류의 오류를 찾아 가상으로 끝없는 디지털 정보 더미를 샅샅이 뒤지는 것을 상상해 보세요.
하지만 진정한 과제는 저작권 상태를 꼼꼼하게 이중 확인하는 데 있었습니다. 혼란스러운 인터넷 영역에서 만연한 잘못된 라이선스는 흔한 일이며, 저작권 확인을 시지프스의 과업으로 만듭니다.
"이것은 단순히 사용 가능한 리소스를 확장할 수 있는 문제가 아닙니다." 연구 공동 저자인 Stella Biderman은 _WaPo_에 말했습니다. "자동화된 도구를 사용하지만 모든 것은 결국 수동으로 주석을 달고 사람이 확인했습니다. 그리고 그것은 정말 어렵습니다."
저작권 문제를 찾기 위해 테라바이트 단위의 데이터를 샅샅이 뒤지는 과정은 쉽지 않습니다. 연구원들은 단순히 더 많은 컴퓨터 칩을 프로세스에 추가하고 솔루션을 기대할 수 없었습니다. 대신, 그들은 모든 데이터를 수동으로 확인하고 주석을 달아야 했습니다.
역경을 이겨낸 승리: 윤리적 AI의 탄생
엄청난 장애물에도 불구하고 Biderman과 그녀의 헌신적인 팀은 끈기 있게 노력했습니다. Common Pile을 만드는 힘든 작업이 완료되자 그들은 70억 개의 매개변수를 가진 Large Language Model (LLM)을 훈련하기 위해 잠재력을 발휘했습니다. 그 결과 AI는 Meta의 Llama 1 및 Llama 2 7B와 같은 업계 벤치마크에 맞서 싸웠을 뿐만 아니라 깨끗한 윤리적 양심으로 그렇게 했습니다.
하지만 AI 연구 환경은 총알처럼 빠르게 진화합니다. Meta가 Llama 1과 Llama 2를 몇 년 전에 출시했는데 AI 세계에서는 상대적으로 영원한 시간이라는 것을 기억하는 것이 중요합니다.
작고 결단력 있는 팀이 제한된 리소스로 비슷한 결과를 달성할 수 있다는 사실은 그들의 독창성에 대한 증거입니다. 특히 영감을 받은 발견 중 하나는 이전에 간과되었던 의회 도서관에서 13만 권이 넘는 영어 서적의 보물이었습니다.
AI와 저작권의 흐릿한 물결
저작권은 AI 시대에 여전히 까다로운 윤리적, 법적 문제입니다. OpenAI 및 Google과 같은 업계 거물은 뉴스 기사에서 개인 소셜 미디어 게시물에 이르기까지 모든 것을 삼켜 막대한 데이터 세트를 축적했습니다. 이 관행은 모든 면에서 비판을 받았습니다. 작가들은 AI 모델을 훈련하기 위해 저작권이 있는 책을 불법적으로 사용했다는 혐의로 소송을 제기하기도 했습니다.
기술 업계는 그러한 관행이 공정한 사용을 구성한다고 주장하면서 데이터에 대한 무제한적인 접근 없이는 AI 개발이 "불가능"할 것이라고 주장합니다. 이 최신 연구는 실리콘 밸리의 이야기에 날카로운 반박을 제공합니다.
이 성과는 중요한 진전을 의미하지만 모든 윤리적 고려 사항을 제거하지는 않습니다. 인간 노동자를 대체할 가능성이 있는 대규모 언어 모델은 여전히 노동의 미래에 대한 근본적인 질문을 제기합니다. 또한 퍼블릭 도메인의 작품을 사용하는 것은 모든 사람, 특히 AI에 의해 현재 되풀이되고 있는 창의적인 기여를 한 사람들에게는 만족스럽지 않을 수 있습니다.
AI 회사가 데이터 사용에 대한 허가를 구하거나 보상을 제공해야 하는 가상적인 미래에서도 저작권 보유자는 AI 훈련을 허용해야 한다는 부당한 압력에 직면할 수 있습니다. AI 모델을 훈련할 때 사용할 수 있는 막대한 리소스는 대부분의 저작권 보유자가 데이터 사용을 허용하도록 대규모 AI 회사의 압력에 저항할 수 없음을 의미합니다.
AI의 투명성과 책임성을 향하여
그러나 Biderman은 실용적인 자세를 유지합니다. 그녀는 OpenAI와 같은 회사가 갑자기 윤리적인 데이터 소싱을 수용할 것이라는 환상을 품지 않습니다. 대신 그녀는 자신의 작업이 데이터 사용에 대한 더 큰 투명성을 장려하기를 바랍니다. 어떤 데이터 세트가 어떤 AI 제품을 훈련하는 데 사용되었습니까? 그 질문에 대한 답을 아는 것은 AI의 미래에 큰 영향을 미칠 수 있습니다.
"부분적인 투명성조차도 엄청난 사회적 가치와 적당한 과학적 가치를 가지고 있습니다."라고 그녀는 _WaPo_에 말했습니다.
현재 주어진 AI를 훈련하는 데 사용되는 정확한 데이터 세트는 엄격하게 보호되는 비밀입니다. AI 모델을 복제하는 유일한 방법은 현재 AI 모델이 어떻게 생성되었는지 정확히 듣거나 AI 모델을 역설계하는 것으로 엄청난 시간과 노력이 필요할 수 있습니다.
AI 개발의 패러다임 전환
이 연구의 의미는 AI 윤리의 영역을 훨씬 뛰어넘습니다. 윤리적 고려 사항과 기술 발전이 상호 배타적일 필요가 없음을 보여주면서 AI 개발 방식의 근본적인 변화를 의미합니다. 투명성, 책임감 있는 데이터 소싱 및 인간의 감독을 우선시함으로써 AI가 다른 방식으로 인류에게 봉사하는 미래를 만들 수 있습니다.
윤리적 문제 및 사회적 영향 해결
윤리적인 데이터 사용이 극복할 수 없는 장애물이라는 기술 업계의 주장이 이제 결정적으로 도전을 받았습니다. 이 프로젝트의 성공은 건전한 윤리적 기반 위에 AI 모델을 구축하는 것이 가능하다는 것을 강조합니다. 그러나 AI 개발의 윤리적 차원은 저작권 문제를 넘어섭니다. 일자리 대체 및 알고리즘 편향을 포함한 AI의 사회 경제적 영향은 신중하게 고려해야 합니다.
AI 모델에 영향을 미치는 윤리적 고려 사항은 단순히 소싱을 넘어섭니다. 또한 데이터가 AI 모델이 인구의 어떤 부분에 대해 편향되거나 반대되도록 하는지 확인해야 합니다.
투명성 및 책임성 증진
신뢰를 구축하고 책임감 있는 혁신을 보장하기 위해 AI 산업은 투명성과 책임성을 수용해야 합니다. 회사는 모델을 훈련하는 데 사용되는 데이터 소스와 편향을 완화하기 위해 사용되는 방법론에 대해 공개해야 합니다. 독립적인 감사 및 외부 감독은 책임성을 더욱 강화하고 윤리적 허점을 방지할 수 있습니다.
AI 투명성은 데이터 세트에 AI 모델의 편향을 피하기에 충분한 광범위한 분포가 포함되어 있는지 확인하기 위해 구현할 수 있습니다. AI 책임성은 잠재적인 윤리적 허점을 확인하기 위해 외부 감사를 통해 구현할 수 있습니다.
협업 및 오픈 소스 솔루션
윤리적으로 소싱된 AI 개발에는 협업 및 오픈 소스 솔루션이 필요합니다. 데이터 세트, 방법론 및 모범 사례를 공유함으로써 연구원과 개발자는 진행 속도를 높이고 윤리적 AI 개발의 과제를 집단적으로 해결할 수 있습니다. 오픈 소스 이니셔티브는 또한 소규모 조직과 개인이 AI 혁명에 참여할 수 있도록 지원하여 이 기술의 이점이 보다 공정하게 공유되도록 할 수 있습니다.
더 밝은 미래의 약속
윤리적으로 소싱된 데이터만으로 훈련된 AI 모델의 생성은 책임감 있고 유익한 AI를 위한 탐구의 이정표를 나타냅니다. 이 획기적인 성과는 윤리적 AI 개발이 가능하다는 것을 증명할 뿐만 아니라 다른 사람들이 따라야 할 로드맵을 제공합니다. 투명성, 협업 및 윤리적 원칙에 대한 약속을 수용함으로써 우리는 인간의 가치를 보호하고 보다 공정하고 공평한 미래를 촉진하면서 AI의 잠재력을 최대한 활용할 수 있습니다.