[이미지 분류] 3강 Dataset

Pre-processing

실제로 데이터 분석을 할 때, 모델링보다는 전처리에서 가장 많은 시간(대략 80%의 시간)이 소요된다.

 

방법은 다양하나 가장 기본적인 것으로는 Bounding Box, Resize 등이 있다.

 

Bounding Box

이미지 데이터의 경우, 인지하고자 하는 타겟 사물이 이미지 데이터 안에서 치우치게 위치하거나, 너무 작은 경우가 있다. 이러한 데이터를 그대로 사용하게 되면 올바르지 못한 방향으로 학습이 진행될 수가 있다. 따라서 Bounding Box를 찾아 이미지 데이터를 전처리해줌으로써 데이터의 질을 높일 수 있을 것이다.

 

출처 : https://velog.io/@nellholic108/Computer-Vision-1-%EA%B8%B0%EB%B3%B8-%EA%B0%9C%EB%85%90

 

Resize

계산의 효율을 위해 사이즈를 줄이거나, 사이즈가 다양한 데이터셋일 경우 하나로 통일해주면 계산이 보다 원활히 이뤄질 것이다.

 

+) 이미지가 너무 어두울 경우 밝게 해서 성능을 높일 수도 있다.(case by case)

 

Generalization

 

Cross-validation

1. 오버피팅, 언더피팅을 방지하기 위한 방법의 하나

2. 테스트셋, 훈련셋으로 나눈 후, 훈련셋을 다시 정말 훈련에만 사용할 훈련셋, 그리고 검증셋으로 나눈다.

 

Data Augmentation

1. 데이터를 늘리는 효과

2. 정확하고 정제된 데이터가 아닌, 부정확한 데이터도 잘 분류하도록 학습하는 효과

 

torchvision.transforms

다양한 함수들(크롭, 반전 등)을 사용하여 레이블이 바뀌지 않는 선에서 다양한 변형을 가하면 좋은 효과를 거둘 수 있다.

 

Albumentations

1. 라이브러리로, 파이토치와는 다른 것

2. pip 명령어로 설치할 수 있음

3. torchvision.transforms보다 빠르고 다양

 

 

 

결론

무조건 좋거나 나쁘거나, 옳거나 틀린 것 없이 직접 실험으로 증명해야 한다.