A Method for Generating Metamorphic Test Cases for CNN Image Classification Models

머신러닝은 우리의 생활 전반에 걸쳐 과거 인간이 하던 일을 대신하여 수행하고 있다. 머신러닝을 평가하는 지표는 여러 가지가 있지만 실제 입력 환경에서도 성능을 유지할 것인가에 대해서는 알기가 어렵다. 머신러닝 모델이 CNN의 특성에 따라 학습되었다면 실제 입력 환경에서도 모델의 성능을 유지할 것이다. 본 연구는 이러한 점에 착안하여 CNN 기반의 이미지 분류 모델에 대해서 메타모픽 관계를 이용한 테스트 케이스 생성 기법을 제안한다. 제안한 기법은 주어진 테스트셋을 일정한 규칙을 이용하여 변형시킨 후 모델에 입력하고 그에 따른 출력 결과와 기존의 출력 결과가 메타모픽 관계를 위반하는지 확인하는 방법이다. 제안하는 기법을 이용하면 실제 입력 환경에서 모델의 성능이 유지될 수 있는지 확인할 수 있다.