'딥러닝' 성능을 높이려면?

최근 몇년간 딥러닝(Deep Learning)이 다양한 분야에 활발히 활용되고, 그 성능이 나날이 발전하면서 생산성 향상에 크게 기여하고 있는데요. 이에 따라 딥러닝 학습 과정에서 모델의 성능을 저하시키는 '오버피팅(Overfitting)' 문제를 해결하고, 성능을 높이는 것이 중요해지고 있습니다.

오버피팅은 딥러닝 모델이 학습 과정에서 훈련 데이터를 지나치게 학습하여 성능이 저하되는 현상으로, '과학습', '과적합', '과최적화' 라고도 불리우는데요. 이번 'ICLR 2020'에서 이스트소프트의 A.I. PLUS Lab이 이 문제를 해결할 수 있는 새로운 정규화 방법론을 제시하여 눈길을 끌었습니다.

 

 

ICLR 2020 발표 논문 :
Regularizing activations in neural networks via distribution matching with the Wasserstein metric

먼저 ICLR 2020은 올해로 8회째를 맞는 표현학습국제학회로, 전세계 인공지능(AI) 컨퍼런스 중 가장 큰 규모를 자랑하는데요. 최근 코로나19 여파로, 지난 4/26부터 5/1까지(현지시간) 온라인을 통한 가상 컨퍼런스가 진행되었습니다.

이 학회를 통해 이스트소프트가 발표한 논문은 "Regularizing activations in neural networks via distribution matching with the Wasserstein metric (와서스테인 거리 기반 확률분포 매칭을 통한 신경망의 은닉 유닛 정규화 기법)" 입니다.

정규화 기법은 딥러닝의 핵심 기술 중 하나로, 학습 과정에서 딥러닝 모델이 훈련 데이터에 한정되어 지나치게 복잡한 패턴을 학습하는 것을 방지하여 딥러닝의 성능을 향상시키는 역할을 합니다.

기존에 사용되던 통계 기반 정규화 방법론(BN, DBN, VCL*)은 평균과 분산 외에 확률분포의 다양한 특성을 반영하지 못한다는 한계가 있었는데요. 이스트소프트는 이러한 한계를 극복하기 위해 와서스테인 거리를 응용하여 확률 분포 공간에서 직접적으로 정규화하는 방법(Projected error function regularization loss, PER)을 제안하였습니다.
* BN(Batch Normalization), DBN(Decorrelated BN), VCL(Variance Consistency Loss)

 

이스트소프트 ICLR 2020 발표 논문 표지

이스트소프트 ICLR 2020 발표 논문 초록

 

 

실제 연구 결과

이번 연구는 딥러닝의 핵심인 정규화를 다룬 만큼, 여러 분야에 활용될 수 있는데요. 실제 연구 결과, 이미지 분류 및 자연어 처리 분야에서 기존 통계 기반 방법론을 사용한 경우와 비교해 대부분 성능이 향상된 것을 볼 수 있었습니다.

현재 이스트소프트는 자사에서 개발 중인 AI 투자 알고리즘의 포트폴리오 최적화 모형에 이를 적용하여 성능을 고도화하는데 활용하고 있습니다. 금융 데이터 특성 상 다른 데이터들과 차별화된 복잡한 확률적 특성을 갖기 때문에 기존 통계 기반 방법론을 적용하기 어려운 점이 있었는데요. 금융 알고리즘에 이 기법에 적용했을 때, 특정 시기의 복잡한 패턴을 외우지 않고 여러 기간에 걸쳐 공통적으로 발생하는 간단한 패턴을 효과적으로 발견해내는 성과가 나타났습니다.

더욱 자세한 논문 내용은 아래 이스트소프트 기술블로그에서 확인하실 수 있습니다. 

 

 

오늘 소개드린 연구 외에도, 이스트소프트 A.I. PLUS Lab에서는 Vision, Language, Trend, Security, Search 등 다양한 분야의 인공지능 연구를 진행하고 있습니다. 많은 관심과 응원 부탁드립니다.