흑백에 생명을: 딥러닝 이미지 컬러화 탐구

오래된 사진의 세피아 톤과 그레이스케일 그라데이션은 시간을 멈춘 순간을 포착하며 독특한 매력을 지니고 있습니다. 하지만 종종 원래 장면의 생생한 즉각성이 부족합니다. 이 소중한 기억들에 생명의 색조를 불어넣어, 빛바랜 흑백 초상화를 피사체의 세계를 풀 컬러로 보여주는 창으로 바꾸는 것을 상상해 보십시오. 이미지 컬러화로 알려진 이 변형 과정은 오랫동안 예술가와 역사가들을 매료시켜 왔습니다. 오늘날 인공 지능, 특히 딥러닝의 발전에 힘입어 자동 컬러화는 한때 공상 과학 소설에서나 나올 법한 결과를 달성하고 있습니다.

그레이스케일 이미지에 색상을 입히는 것은 흥미로운 도전 과제입니다. 이미지가 흑백으로 렌더링될 때 상당한 양의 정보, 즉 원래의 색채 데이터가 본질적으로 손실됩니다. 알고리즘이 어떻게 휘도 값만으로 꽃, 드레스 또는 하늘의 실제 색상을 알 수 있을까요? 답은 그레이스케일 이미지 자체에 내재된 미묘한 단서에 있습니다: 질감, 모양, 맥락, 그리고 빛과 그림자의 상호 작용. 정확한 원래 색상을 정확히 찾아내는 것은 불가능할 수 있지만(그 장미가 정말 진홍색이었을까, 아니면 분홍색 계열이었을까?), 목표는 그럴듯하고 미학적으로 설득력 있는 컬러화를 만드는 것으로 바뀝니다. 목표는 인간 관찰자가 믿을 수 있고, 심지어 원본 컬러 사진과 구별할 수 없을 수도 있는 이미지를 생성하는 것입니다.

딥러닝 모델은 방대한 데이터 세트 내에서 복잡한 패턴과 통계적 관계를 밝혀내는 데 탁월합니다. 수백만 개의 이미지를 대상으로 그레이스케일 버전과 원본 컬러 버전을 비교하여 이러한 모델을 훈련함으로써, 알고리즘은 특정 질감과 구조를 가능한 색상과 연관시키는 법을 배웁니다. 잔디는 일반적으로 녹색이고, 하늘은 종종 파란색이며, 특정 질감은 나뭇결이나 직물에 해당한다는 것을 학습합니다. 이는 교육받은 추측과 같지만, 방대한 시각적 백과사전에 의해 정보를 얻은 추측입니다. 알고리즘은 인간적인 의미에서 실제 색상을 ‘알지’ 못하지만, 학습된 상관 관계를 기반으로 매우 가능성 높은 예측을 할 수 있습니다.

색상의 언어: CIELab과 신경망

컬러화를 계산적으로 다루기 위해 색상을 표현하는 적절한 방법이 필요합니다. 디스플레이에는 RGB (Red, Green, Blue)가 일반적이지만, 이는 휘도(밝기)와 색차(색상) 정보를 혼합합니다. 이 작업에 더 유리한 시스템은 CIELab 색 공간입니다. 이 모델은 색상을 세 가지 별개의 구성 요소로 우아하게 분리합니다:

• L (Lightness): 이 채널은 순수한 검은색에서 순수한 흰색까지의 그레이스케일 정보를 나타냅니다. 이는 본질적으로 흑백 이미지에서 이미 가지고 있는 입력 데이터입니다.
• a: 이 채널은 녹색(음수 값)에서 빨간색(양수 값)까지의 스펙트럼을 인코딩합니다.
• b: 이 채널은 파란색(음수 값)에서 노란색(양수 값)까지의 스펙트럼을 인코딩합니다.

CIELab의 장점은 이러한 분리에 있습니다. 딥러닝 모델은 입력된 Lightness (‘L’) 채널만을 기반으로 두 개의 색차 채널(‘a’ 및 ‘b’)을 예측하는 데 집중할 수 있습니다. 핵심 과제는 다음과 같습니다: 그레이스케일 정보(L)가 주어졌을 때, 각 픽셀에 대해 가장 가능성 있는 해당 ‘a’ 및 ‘b’ 값은 무엇인가?

초기 시도에서는 종종 이미지와 같은 그리드 형태의 데이터를 처리하는 데 특히 능숙한 딥러닝 아키텍처 유형인 Convolutional Neural Networks (CNNs)를 사용했습니다. 이러한 네트워크는 대규모 이미지 데이터 세트(예: ImageNet)에서 훈련되어 각 픽셀의 ‘a’ 및 ‘b’ 값을 직접 예측했으며, 이를 회귀 문제(연속 값 예측)로 취급했습니다. 그러나 일반적인 함정이 나타났습니다: 결과적인 컬러화가 종종 채도가 낮거나 흐릿하게 보였습니다. 왜 그럴까요? 사과와 같은 물체를 생각해 보십시오. 빨간색, 녹색 또는 노란색일 수도 있습니다. 네트워크가 회귀 중에 이러한 가능성을 평균화하려고 하면, 생생하고 구체적인 색상 대신 둔하고 갈색에 가까운 타협점에 도달할 수 있습니다. 여러 그럴듯한 색상에 걸친 이러한 평균화 효과는 결과를 희미하게 만드는 경향이 있었습니다.

패러다임 전환: 분류로서의 컬러화

채도 저하 문제를 극복하고 더 생생하고 사실적인 색상을 생성하기 위해, 더 정교한 접근 방식은 문제를 재구성합니다. 색상 예측을 회귀로 취급하는 대신, 분류 작업으로 간주합니다.

개념적 전환은 다음과 같습니다:

1. 양자화된 색 공간: 가능한 ‘a’ 및 ‘b’ 값의 연속 스펙트럼은 미리 정의된 대표적인 색상 ‘빈(bin)’ 또는 클래스 집합으로 이산화됩니다. 이는 방대한 팔레트를 ‘a’-‘b’ 평면 내에서 관리 가능하면서도 포괄적인 고유 색상 옵션 세트로 줄이는 것으로 생각할 수 있습니다.
2. 확률 예측: 입력 그레이스케일 이미지의 각 픽셀에 대해 CNN은 단일 ‘a’ 및 ‘b’ 값을 예측하지 않습니다. 대신, 양자화된 색상 빈에 대한 확률 분포를 출력합니다. 이는 본질적으로 “이 픽셀의 경우, ‘선명한 빨간색 빈 #5’에 속할 확률이 70%, ‘옅은 빨간색 빈 #2’일 확률이 20%, ‘갈색 빈 #12’일 확률이 5%” 등과 같이 말하는 것입니다.
3. 모호성 처리: 이 확률적 접근 방식은 본질적으로 색상 모호성을 처리합니다. 객체가 여러 색상일 수 있는 경우(사과처럼), 네트워크는 여러 다른 색상 빈에 상당한 확률을 할당하여, 밋밋한 평균에 의존하지 않고 이러한 불확실성을 반영할 수 있습니다.
4. 생생한 색상으로 디코딩: 마지막 단계는 이 확률 분포를 각 픽셀에 대한 단일하고 구체적인 색상으로 다시 변환하는 것입니다. 순진한 접근 방식은 단순히 가장 높은 확률을 가진 색상 빈(최빈값)을 선택하는 것일 수 있습니다. 그러나 생동감을 장려하고 채도 저하 문제를 피하기 위해 분포의 **어닐링된 평균(annealed mean)**을 계산하는 것과 같은 기술이 사용됩니다. 이 방법은 덜 가능성 있지만 더 다채로운(더 높은 채도) 예측에 더 많은 가중치를 부여하여, 전체 예측 분포를 존중하면서도 생동감을 선호하도록 효과적으로 ‘동점 처리’합니다.

이 분류 프레임워크는 컬러화를 위해 특별히 설계된 손실 함수(훈련 중 모델 성능을 평가하는 데 사용되는 메트릭)의 신중한 설계와 결합되어, 모델이 그레이스케일 특징과 가능한 색상 분포 사이의 복잡한 관계를 학습할 수 있게 합니다. 그 결과, 그럴듯하게 색칠되었을 뿐만 아니라 이전의 회귀 기반 방법에서는 종종 부족했던 풍부함과 시각적 매력을 지닌 이미지가 생성됩니다.

내부 들여다보기: 실용적인 딥러닝 워크플로우

이러한 정교한 CNN을 처음부터 훈련하는 것은 막대한 계산 자원과 방대한 데이터 세트를 필요로 하는 기념비적인 작업이지만, 사전 훈련된 모델을 활용하면 이 기술에 접근할 수 있습니다. Python 및 일반적인 라이브러리를 사용하여 이미지 컬러화를 위해 사전 훈련된 딥러닝 모델(특히 원본 예제처럼 Caffe 프레임워크를 사용하여 구축된 모델)을 사용하는 개념적 단계를 살펴보겠습니다.

1. 툴킷 조립:

기반은 일반적으로 데이터 과학 및 AI에서 널리 사용되는 다목적 프로그래밍 언어인 Python을 포함합니다. 주요 라이브러리가 중요한 역할을 합니다:

• NumPy: 효율적인 수치 연산, 특히 이미지를 나타내는 다차원 배열 처리에 필수적입니다.
• OpenCV (cv2): 컴퓨터 비전 작업을 위한 강력한 라이브러리입니다. 이미지 읽기, 쓰기, 조작 및 표시 기능을 제공하며, 결정적으로 Caffe, TensorFlow, PyTorch와 같은 다양한 프레임워크에서 훈련된 모델을 로드하고 실행할 수 있는 Deep Neural Network (DNN) 모듈을 포함합니다.
• Argparse: 사용자가 이미지 파일 경로와 같은 입력 매개변수를 쉽게 지정할 수 있도록 사용자 친화적인 명령줄 인터페이스를 만들기 위한 표준 Python 라이브러리입니다.
• OS: 다른 시스템(Windows, macOS, Linux)에서 작동하는 방식으로 파일 경로를 구성하는 것과 같은 기본적인 운영 체제 상호 작용에 사용됩니다.

2. 사전 훈련된 인텔리전스 획득:

신경망을 벽돌 하나하나 쌓는 대신, 이미 컬러화를 위해 훈련된 네트워크를 나타내는 파일을 활용합니다. 여기에는 일반적으로 다음이 포함됩니다:

• 모델 아키텍처 파일 (.prototxt for Caffe): 이 파일은 신경망의 구조(레이어, 유형, 연결 및 매개변수)를 정의합니다. 모델의 청사진입니다.
• 훈련된 가중치 파일 (.caffemodel for Caffe): 이 파일에는 네트워크가 광범위한 훈련 과정에서 학습한 수치 가중치가 포함되어 있습니다. 이러한 가중치는 모델이 그레이스케일 특징을 색상 확률에 매핑하는 것에 대해 습득한 ‘지식’을 요약합니다. 이는 증류된 인텔리전스입니다.
• 색상 양자화 데이터 (.npy 파일): 이 NumPy 파일은 일반적으로 앞에서 설명한 분류 접근 방식에서 사용된 양자화된 색상 빈의 중심점을 저장합니다. 예측된 색상 확률에 대한 참조 팔레트 역할을 합니다.

이 파일들은 강력한 하드웨어에서 잠재적으로 몇 주 또는 몇 달 동안의 훈련 결과를 나타냅니다.

3. 컬러화 엔진 로드:

필요한 파일이 위치하면 OpenCV의 DNN 모듈은 사전 훈련된 네트워크를 메모리에 로드하는 메커니즘을 제공합니다. cv2.dnn.readNetFromCaffe 함수(또는 다른 프레임워크에 대한 동등한 함수)는 아키텍처 및 가중치 파일을 입력으로 받아 네트워크를 인스턴스화하여 추론(새 데이터에 대한 예측 수행 프로세스) 준비를 마칩니다. .npy 파일의 색상 양자화 지점도 일반적으로 NumPy를 사용하여 로드됩니다.

4. 네트워크 구성 요소 미세 조정 (필요한 경우):

때로는 사전 훈련된 네트워크 내의 특정 레이어가 추론 전에 약간의 조정이 필요할 수 있습니다. 논의된 분류 기반 컬러화 모델의 맥락에서:

• 출력 레이어 조정: ‘a’ 및 ‘b’ 채널 예측을 출력하는 최종 레이어(예: 참조 모델의 class8_ab라는 이름)는 .npy 파일의 색상 빈 중심점으로 명시적으로 로드해야 할 수 있습니다. 이는 네트워크의 출력 확률이 미리 정의된 색상 팔레트에 올바르게 매핑되도록 보장합니다. 포인트는 종종 레이어의 “blobs”(데이터 컨테이너에 대한 Caffe 용어)에 할당되기 전에 적절한 데이터 유형(예: float32)으로 재구성되고 캐스팅됩니다.
• 색상 재조정: 다른 레이어(예: conv8_313_rh)는 출력에서 다른 색상 간의 균형에 영향을 미치도록 조정될 수 있으며, 잠재적으로 채도를 높이거나 훈련 중에 학습된 편향을 수정할 수 있습니다. 이는 종종 레이어의 blobs를 특정 학습된 값(원본 코드에서 언급된 2.606 값과 같이, 경험적으로 또는 훈련 중에 파생되었을 가능성이 높음)으로 설정하는 것을 포함합니다.

이러한 단계는 분류 접근 방식을 사용하여 컬러화 작업의 특정 미묘함에 맞게 일반적인 사전 훈련된 모델을 조정합니다.

5. 입력 이미지 준비:

입력 그레이스케일 이미지는 신경망에 입력되기 전에 여러 전처리 단계를 거쳐야 합니다:

• 로드: 이미지는 cv2.imread를 사용하여 지정된 파일 경로에서 읽어옵니다. 그레이스케일 이미지라도 OpenCV는 기본적으로 회색 값을 채널 전체에 복제하여 3채널 BGR 이미지로 로드할 수 있습니다.
• 정규화: 일반적으로 0에서 255 범위인 픽셀 값은 255.0으로 나누어 더 작은 범위(종종 0.0에서 1.0)로 조정됩니다. 이 정규화는 네트워크의 학습 및 추론 프로세스를 안정화하는 데 도움이 됩니다.
• 색 공간 변환: 이미지는 cv2.cvtColor를 사용하여 기본 BGR 색 공간에서 CIELab 색 공간으로 변환됩니다. 이는 Lightness (L) 채널을 분리하는 데 중요합니다.
• 크기 조정: 대부분의 사전 훈련된 CNN은 고정된 크기(예: ImageNet과 같은 데이터 세트의 영향을 받은 일반적인 표준인 224x224 픽셀)의 입력 이미지를 예상합니다. LAB 이미지는 cv2.resize를 사용하여 그에 따라 크기가 조정됩니다. 이 표준화는 네트워크 아키텍처와의 호환성을 보장합니다.
• L 채널 분리 및 중심화: Lightness (L) 채널은 크기가 조정된 LAB 이미지에서 추출됩니다. 종종 해당 값(LAB에서 일반적으로 0-100)은 평균값(예: 50)을 빼서 0을 중심으로 맞춰집니다. 이 중심화는 네트워크 성능을 향상시킬 수 있는 또 다른 일반적인 관행입니다.

이렇게 세심하게 전처리된 L 채널은 이제 네트워크에 제공될 준비가 되었습니다.

6. 추론 단계: 색상 예측:

여기서 마법이 일어납니다:

• Blob 생성: 처리된 L 채널(현재 2D 배열)은 DNN 모듈(cv2.dnn.blobFromImage)에서 예상하는 4차원 배열 형식인 “blob”으로 변환됩니다. 이 형식에는 일반적으로 배치 크기, 채널, 높이 및 너비에 대한 차원이 포함됩니다.
• 순방향 전파 (Forward Pass): blob은 net.setInput을 사용하여 로드된 네트워크의 입력으로 설정됩니다. 그런 다음 net.forward() 메서드가 호출됩니다. 이는 계산을 트리거합니다: 입력 데이터는 네트워크의 레이어를 통해 흐르며 학습된 가중치에 의해 지시된 변환을 거쳐 궁극적으로 예측된 출력을 생성합니다. 컬러화 모델의 경우 출력은 예측된 ‘a’ 및 ‘b’ 채널(또는 오히려 색상 빈에 대한 확률 분포)을 나타냅니다.
• 출력 재구성: 네트워크의 원시 출력은 ‘a’ 및 ‘b’ 채널에 해당하는 2D 공간 형식으로 다시 재구성하고 전치해야 합니다.

이제 네트워크는 입력 그레이스케일 이미지를 기반으로 색상 정보에 대한 최상의 추측을 생성했습니다.

7. 컬러 이미지 재구성:

마지막 단계는 예측된 색상 정보를 원본 이미지 데이터와 결합하는 것입니다:

• 예측된 채널 크기 조정: 예측된 ‘a’ 및 ‘b’ 채널(현재 네트워크 입력과 일치하는 224x224 크기)은 cv2.resize를 사용하여 입력 이미지의 원본 크기로 다시 조정해야 합니다. 이는 색상 정보가 원본 이미지 구조와 올바르게 정렬되도록 보장합니다.
• 원본 Lightness 추출: 결정적으로, Lightness (L) 채널은 크기 조정 전 전처리 중에 생성된 원본, 전체 크기 LAB 이미지에서 추출됩니다. 원본 L 채널을 사용하면 이미지의 원본 디테일과 휘도 구조가 보존되며, 이는 크기가 조정된 L 채널을 사용할 경우 저하될 수 있습니다.
• 연결: 원본 L 채널은 색상 채널 축을 따라 크기가 조정된 예측 ‘a’ 및 ‘b’ 채널과 결합(연결)됩니다. 이는 이제 예측된 색상이 포함된 전체 LAB 이미지를 재조립합니다.
• 표시 가능한 형식으로 다시 변환: 결과 LAB 이미지는 대부분의 이미지 표시 함수(예: cv2.imshow)에서 예상하는 표준 형식이므로 cv2.cvtColor를 사용하여 BGR 색 공간으로 다시 변환됩니다.
• 클리핑 및 스케일링: 현재 정규화된 범위(아마도 0.0에서 1.0)에 있는 BGR 이미지의 픽셀 값은 이 유효한 범위 내에 유지되도록 클리핑됩니다(예측 프로세스로 인해 값이 때때로 경계를 약간 초과할 수 있음). 그런 다음 표준 이미지 파일로 표시하거나 저장하는 데 필요한 표준 0-255 정수 범위로 다시 스케일링됩니다.

8. 시각화:

마지막으로 cv2.imshow와 같은 함수를 사용하여원본 그레이스케일 이미지와 새로 색칠된 이미지를 나란히 표시하여 즉각적인 시각적 비교를 할 수 있습니다.

프로세스 실행:

일반적으로 이러한 단계를 구현하는 스크립트는 명령줄에서 실행됩니다. argparse 설정을 사용하여 사용자는 입력 그레이스케일 이미지의 경로를 인수로 제공합니다(예: python colorize_image.py --image my_photo.jpg). 그러면 스크립트는 로딩, 전처리, 추론 및 재구성 단계를 실행하여 궁극적으로 색칠된 결과를 표시하거나 저장합니다.

사전 훈련된 모델과 강력한 라이브러리를 활용하는 이 워크플로우는 딥러닝 컬러화의 복잡한 이론을 흑백 이미지에 생생하고 그럴듯한 색상을 추가할 수 있는 실용적인 도구로 변환하여 과거와 현재 사이의 간극을 효과적으로 메웁니다.