Improved Regularization of Convolutional Neural Networks with Cutout

Improved Regularization of Convolutional Neural Networks with Cutout Terrance De. Vries, Graham W. Taylor, 2017 Ji-Ye Jeon @CAPP

일반적인 Overfitting 해결 방법 • Overfitting : training set에 과적합화되어 test set에서의 성능 저하를 보이는 현상 • 많은 dataset 확보 • Data Augmentation • Dropout 계열(parameter 줄이기) • dropout, pruning, me. Prop. . . • Regularization • 다음 layer로 가는 input을 normalization Ø 대부분 Batch normalization 사용

실험 결과 • • • patch의 center를 random으로 pick Test dataset으로 17년 기준 state-of-art dataset 사용 : CIFAR-10, CIFAR-100, SVHN, STL-10 Network으로는 Res. Net 18, Wide Residual Net 사용 error rate • • • 0. 4~2%의 성능 향상 augmentation을 적용하지 않은 것과 비교하면 3~15% 향상 dropout, BN, standard augmentation이 적용되어 있는 상태에서도 효과 보임

실험 결과 • • patch size가 hyperparameter class 수가 많을 수록 size가 작은 것이 성능이 좋음 • ex) CIFAR-10(40 x 40) : 16 x 16, CIFAR-100(40 x 40): 8 x 8