[AI 논문 소개] 링컨·에디슨, 현대 카메라로 재촬영하다

[AI 논문 소개] 링컨·에디슨, 현대 카메라로 재촬영하다: 김수경 / 기사승인 : 2021-04-29 14:12:58

인공지능 기술의 발전에 따라 사진복원 기술도 나날이 발전하고 있다. 인공지능 기술을 이용해 흑백 사진을 컬러 사진으로 변환하는 기술은 여러 전문가가 이미 많은 시도를 한 덕분에 웹사이트로 상용화됐다. 그 결과, 누구나 변환하고 싶은 이미지를 해당 사이트에 업로드하면 흑백 이미지를 컬러 이미지로 변환하여 돌려준다.

[[사진 1] ALGORITHMIA Colorize Photos]

위의 사진 속 사이트는 캘리포니아대학교 버클리 캠퍼스의 리처드 장(Richard Zhang) 박사가 만든 'ALGORITHMIA의 Colorize Photos'라는 웹서비스이다.

[사진 2] Abraham Lincoln 흑백(원본), 컬러(변환) 사진

그런데, 채색 기술에도 한계가 있다. 바로 과장된 주름 혹은 플라스틱처럼 보이는 피부 표현과 같이 과거에 촬영된 이미지는 채색만으로 초고해상도로 재구현하는 것이 어렵다는 점이다.

이는 과거 카메라 촬영 기술과 현대 카메라 촬영 기술 간의 간극 때문에 발생한다. 과거의 촬영 이미지는 주름을 많이 과장하거나 붉은색 이미지는 표면을 흩뿌려놓는 등 사진의 품질이 우수하지 않다.

이때, 이미지에 붉은색이 나타나는 이유는 과거의 카메라가 피부 표면에서 발생하는 빛의 산란을 표현하지 못해 발생한다. 결국 빛을 산란이 일어나는 부분은 마치 플라스틱처럼 보이기까지 한다.

020년 12월 22일 발표된 논문 'Time-Travel Rephotography'은 위의 문제점을 해결하여 과거의 흑백 이미지를 초고해상도의 컬러 이미지로 변환시키는 기술을 설명한다. 이 프로그램의 개발 목적은 역사적 인물을 현대 카메라로 재촬영하는 것이다.

역사적 인물은 이전 이미지와 최신 이미지 쌍이 없다 보니 비교 및 학습에 대한 데이터셋이 갖춰지지 않아, 기술 구현이 더욱 어렵게 느껴진다. 그렇다면 어떤 데이터들을 가지고 신경망 훈련을 수행할까?

[사진 3] Time-Travel Rephotography neural network

[사진 4] Georg Cantor test image

바로 훈련에 사용되는 이미지는 원본 이미지(antique image)와 형제 이미지(sibling image)이다.

이때, 형제 이미지는 실제 대상 이미지 속 인물의 형제를 말하는 것이 아니라 대상 이미지와 비슷하게 만들어 낸 가상 인물에 대한 이미지를 말한다. 원본 이미지를 신경망을 통해 공급하면 매우 사실적인 형제 이미지를 생성한다. 이 과정에 StyleGAN2라는 기술이 적용된다.

StyleGAN2는 매우 사실적으로 가상 인물에 대한 이미지를 생성하는 적대적 신경망 방식이다. 이제 생성된 형제 이미지를 가지고 두 이미지 간의 손실을 최소화하며 모핑을 수행한다.