구글 연구팀, 예시 난이도 학습 연구 진행

구글 연구팀, 예시 난이도 학습 연구 진행: 임채은 / 기사승인 : 2021-07-01 19:32:35

딥러닝 모델이 데이터를 처리하는 원리를 이해하는 한 가지 방법은 예시의 난이도의 유형이나 양이 다른 입력 데이터 포인트를 조사하는 것이다. 예시 난이도의 다양한 정의는 과거의 연구에 제시됐다. 통계적 관점에서 예시 난이도는 예시의 실측 자료 레이블을 예측할 확률을 의미한다. 반면, 모델 학습에서 예시 난이도는 예시 학습에 관련된 어려움을 가리킨다.

그러나 이 두 관점 모두 통합된 모델 내에서 데이터 처리를 캡슐화하지 않으며 여러 가지 이유로 어려운 예를 구분할 수 없다는 기본적인 한계를 가지고 있다.

'예시 난이도의 렌즈를 통한 딥러닝(Deep Learning Through the Lens of the Example Difficiency)'이라는 논문에서 구글 연구팀은 모델 학습의 예시 난이도 문제를 다루며 숨겨진 임베딩에서 파악한 '예측 깊이'를 예시의 난이도의 새로운 척도로 제안한다. 그들의 연구는 주어진 입력의 예측 깊이가 해당 데이터 지점에 대한 모델의 불확실성, 신뢰도, 정확성 및 학습 속도와 밀접한 관련이 있다는 놀라운 사실을 보여준다.

연구진은 숨겨진 계층 조사을 사용하여 난이도의 예를 결정한다. 이들은 먼저 예측 깊이에 따라 매개 변수화된 예제 난이도의 계산적 견해를 도입하고, 그 정의에 기초하여 예측 깊이가 예시 난이도의 의미 있고 강력한 개념임을 보여준다. 또한, 딥러닝의 세 가지 중요한 측면인 예측의 정확성과 일관성, 데이터를 학습하는 순서, 데이터 지점 근처에서 학습된 기능의 단순성(여백)을 더 잘 이해하기 위해 예측 깊이를 사용하는 방법에 대한 상세한 설명도 제공한다.

연구팀은 다양한 아키텍처 및 데이터 집합 선택에 대한 결과의 견고성을 보장하기 위해 다양한 데이터 집합에 대한 경험적 분석을 실시했다. 사용된 데이터 집합에는 ResNet18(He et al., 2016), VG16(Simonyan 및 Zisserman, 2015), CIFAR10, CIFAR100(Krizhevsky et al., 2009), 패션 MNIST(FMNIST) (Xiao et al., 2011) 및 MLP 아키텍처가 포함된다. ResNet18 실험의 CIFAR10에서 제안된 방법은 "레이블이 없는 가장 애매한" 입력에 대한 정확도를 25%에서 98%로 높였다.

구글 연구원의 연구 요약
1. 계산 예제 난이도의 척도인 예측 깊이(PD)를 도입한다.
2. 시각적으로 더 어려워 보이는 예의 경우, 예측 깊이가 더 크고 아키텍처와 랜덤 시드 간에 예측 깊이가 일관됨을 보여준다.
3. 경험적 조사에 따르면 예측 깊이는 예측의 일관성에 대해 선형 하한을 설정하는 것으로 보인다. 예측 깊이가 작은 검증 지점에 대해 예측이 평균적으로 더 정확하다는 것을 보여준다.
4. 훈련 중 초기에 수렴되는 데이터 포인트에 대한 최종 예측은 일반적으로 초기 계층에서 결정되며, 이는 네트워크의 훈련 기록과 숨겨진 계층에서의 데이터 처리 간의 대응 관계를 설정한다.
5. 예측 깊이가 작은 예에서는 적대 입력 여백과 출력 여백이 모두 더 크다는 것을 보여준다. 네트워크의 출력 마진을 줄이기 위한 개입을 설계하고, 이로 인해 최신 숨겨진 계층에서만 예측이 수행된다.
6. 훈련 및 검증의 예측 깊이를 독립적으로 분할하여 세 가지 극단적인 형태의 예시 난이도를 식별하고, 한 중간 계층에 숨겨진 임베딩을 사용하여 예측을 수행하는 간단한 알고리즘이 어떻게 특정 형태의 예시 난이도를 나타내는 입력의 정확도를 극적으로 개선할 수 있는지 입증한다.
7. 결과를 사용하여 관련이 없어 보이는 4가지 딥러닝 현상을 통합하는 일관성 있는 그림을 제시한다. 초기 계층은 일반화하고, 이후 계층은 암기하고, 입력 계층에서 출력 계층으로 네트워크는 수렴되며, 쉬운 예가 먼저 학습되고, 네트워크는 교육 초기에 더 간단한 기능을 제공한다.

구글 연구팀은 결과가 구조상 계층적인 깊은 모델의 표현에서 비롯되었으며, 따라서 이와 유사한 결과가 이미지 분류 이외의 더 큰 모델, 데이터 세트 및 작업에서 나타날 수 있다는 점에 주목하고 있다. 하지만 이러한 영역과 다른 영역에서 추가 실험이 있어야 할 것이다.

연구팀은 연구가 이질적인 불확실성을 포착하고, 네트워크가 분포 변화에 어떻게 반응하는지에 대한 이해를 높이고, 커리큘럼 학습 접근법과 기계 학습 공정성을 향상하는 모델 개발에 도움이 되기를 바란다고 말했다.