마이크로소프트 산하 인공지능(AI) 연구 기업 오픈AI(OpenAI)가 마인크래프트를 완전 정복한 AI를 공개했다.
해외 IT 매체 싱귤러리티허브는 오픈AI 자체 블로그 게시글과 알고리즘 연구 논문 게재 예고 글을 인용, 오픈AI의 알고리즘이 마인크래프트 영상을 총 7만 시간 동안 시청한 뒤 나무 베기, 플랑크 제작, 테이블 제작 등 기본 기술을 터득했다고 설명했다.
오픈AI 연구팀은 알고리즘을 집중 데이터세트 모델로 훈련하는 파인 튜닝(fine-tuning) 과정도 거쳤다. 이후 기본 기술을 안정적으로 수행하면서도 나무와 돌로 제작된 도구의 기술적 강점을 향상하기 시작한 사실도 확인했다.
강화학습 기법으로 파인 튜닝 과정을 거친 뒤 인간 플레이어가 20분 동안 2만 4,000여 가지 행동을 수행한 뒤 달성할 수 있는 기술인 다이아몬드 곡괭이 제작에 성공했다.
그동안 AI가 마인크래프트 기술을 터득하는 데 크게 어려움을 겪었다는 사실을 고려하면, 오픈AI 연구팀의 이번 연구 성과는 매우 인상적이다. 이미 AI가 인간보다 뛰어난 능력을 터득한 바둑, 체스 등은 분명한 목적이 있으며, 목적 달성 진전 수준을 구체적으로 측정할 수 있다. 따라서 강화학습 기법을 활용해 바둑 실력을 쌓은 뒤 인간을 이길 수 있었다.
반면, 마인크래프트는 달성 가능한 목표의 수가 여러 가지이며, 심층 강화학습 기법을 사용해도 보통 아무 결과를 얻지 못할 수 있다. 실제로 2019년, 마인RL 마인크래프트(MineRL Minecraft) AI 개발자 대회 참가자가 제출한 AI 알고리즘 제출 결과물 중 다이아몬드 채굴이라는 비교적 간단한 성과를 거둔 결과물이 단 하나도 없었다.
오픈AI 연구팀은 영상 사전 훈련 알고리즘을 유튜브 영상으로 훈련한 뒤 GPT-3, DALL:E와 함께 인간이 제작한 콘텐츠로 구성된 데이터 세트로 훈련했다. 마인크래프트 AI는 컴퓨터 전력이나 데이터만으로 마인크래프트 기술 터득 훈련에 성공하지 않았다. 단순한 원본 영상만으로도 마인크래프트 AI를 훈련하기 충분하지 않았다.
오픈AI 연구팀은 비디오 프레임마다 라벨을 적용했다. 업워크(Upwork)와의 계약을 통해 마인크래프트 기술을 담은 7만 시간 분량의 영상에 주석을 달았다. 이후 키보드와 마우스 명령어 라벨을 추가한 뒤 알고리즘의 마인크래프트 기술 수행 정확도가 90%를 넘어섰다.
한편, 데이터 라벨을 활용한 알고리즘 훈련은 AI의 다른 기술 학습에도 도움이 될 것으로 기대된다. 이와 관련, 오픈AI 연구팀은 “영상 사전훈련 알고리즘은 인터넷에 게재된 장시간 영상을 시청하면서 행동을 배울 수 있을 것이다”라고 언급했다.
[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]
