분류 모델 하나 돌려보고 정확도(accuracy) 98% 나와서 오 잘됐다 하고 좋아했는데, 팀 선배가 정확도만 보면 안 된다고 하더라고요. 이게 무슨 말인지 처음엔 이해가 안 갔어요. 98%면 잘 맞춘 거 아닌가요?
알고 보니 제 데이터가 정상 990개에 불량 10개, 이렇게 완전 한쪽으로 쏠려 있었어요. 그러니까 모델이 그냥 전부 다 정상이라고만 찍어도 990/1000 = 99% 나오는 거더라고요. 정작 잡아야 되는 불량은 하나도 못 잡는데 숫자만 높게 나오는 거였어요. 이거 깨닫고 좀 충격이었습니다.
그래서 precision, recall, F1 이런 걸 봐야 한다는데 이게 각각 정확히 뭘 재는 건지 헷갈려요. 정밀도가 맞다고 한 것 중에 진짜 맞은 비율이고, 재현율이 진짜인 것 중에 맞춘 비율이다 이런 식으로 봤는데 자꾸 둘이 섞여서 반대로 외워집니다.
불량 검출 같은 경우는 둘 중에 뭘 더 챙겨야 하나요? 놓치면 안 되는 상황이랑 잘못 잡으면 안 되는 상황에서 보는 지표가 다른 건가요? F1은 그냥 둘을 합친 거라고만 알고 있는데 언제 이걸 대표로 보면 되는지도 알려주시면 좋겠어요.