딥마인드(DeepMind)는 놀라운 결과를 가진 소프트웨어 소스 코드를 생성할 수 있는 딥 러닝 모델을 소개하는 최신 AI 연구소다. 이곳에서 소개한 알파코드(AlphaCode)라고 하는 모델은 오픈AI가 코드 생성 모델에서 사용하는 것과 동일한 아키텍처인 트랜스포머스(Transformers)를 기반으로 한다.
외신인 테크토크스(techtalks)는 알파코드(AlphaCode)에 대해 ”일반적으로 몇 시간의 코딩 및 테스트가 필요한 복잡한 프로그래밍 문제를 해결하는 등 확실히 깊은 인상을 남겼다”면서 ”언젠가는 문제 설명을 작업 코드로 바꾸는 좋은 도구가 될 수 있을 것"이라고 보도했다.
알파코드(AlphaCode)는 매우 복잡한 작업을 수행하는 것이 특징이다. 다른 유사한 시스템은 작은 작업(예: 웹 서버 설정, API 시스템에서 정보 가져오기)을 수행하는 기능 또는 코드 블록과 같은 짧은 코드 조각을 생성하는 데 중점을 두지만 알파코드(AlphaCode) 는 경쟁적인 프로그래밍 문제를 해결하는 것을 목표로 한다.
또한 대규모 언어 모델이 복잡한 문제를 해결하는 데 얼마나 발전했는지 보여주는 예시이기도 하다. 이러한 종류의 딥 러닝 시스템은 일반적으로 시퀀스 대 시퀀스 모델(seq2seq)로 알려져 있다. Seq2seq 알고리즘은 일련의 값(문자, 픽셀, 숫자 등)을 입력으로 받아 다른 값 시퀀스를 생성한다. 이것은 기계 번역, 텍스트 생성 및 음성 인식과 같은 많은 자연어 작업에서 사용되는 접근 방식이다.
딥마인드(DeepMind)의 논문에 따르면, 알파코드(AlphaCode)는 인코더-디코더 트랜스포머 아키텍처를 사용한다. 트랜스포머는 전임자, 순환 신경망( RNN ) 및 장단기 기억 네트워크(LSTM)보다 훨씬 적은 메모리 및 컴퓨팅 요구 사항으로 대규모 데이터 시퀀스를 처리할 수 있기 때문에 최근 몇 년 동안 특히 인기를 얻었다.
알파코드(AlphaCode)의 인코더 부분은 문제에 대한 자연어 설명의 숫자 표현을 생성한다. 디코더 부분은 인코더에 의해 생성된 임베딩 벡터를 취하고 솔루션의 소스 코드를 생성하려고 시도한다.
딥마인드(DeepMind)는 블로그를 통해서 “알파코드(AlphaCode)는 프로그래밍 대회에서 경쟁력 있는 수준의 성능에 도달한 최초의 AI 코드 생성 시스템이다”라고 찬사를 보냈다.
[저작권자ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]
