모델 성능 얘기 나올 때마다 편향-분산 트레이드오프(bias-variance tradeoff)라는 말이 나오는데 이게 진짜 몇 번을 봐도 이해가 안 돼서요. 편향이랑 분산 각각은 대충 통계에서 배운 것 같은데, 이게 모델이랑 엮이니까 갑자기 어려워져요.
제가 겪은 상황을 얘기하면, 트리 depth를 막 깊게 늘렸더니 훈련 정확도는 거의 100%가 나오는데 테스트 정확도는 오히려 떨어지더라고요. 반대로 depth를 너무 낮추니까 둘 다 별로고요. 이게 그 트레이드오프랑 관련 있는 건가 싶긴 한데 확신이 안 서요.
train acc: 0.99 / test acc: 0.72 (depth=20)
train acc: 0.81 / test acc: 0.79 (depth=4)
궁금한 게, 편향이 높다는 건 모델이 너무 단순해서 못 맞추는 거고(과소적합), 분산이 높다는 건 훈련 데이터에 너무 맞춰버린 거(과대적합) 이렇게 이해하면 맞나요? 근데 왜 이 둘을 동시에 줄일 수는 없고 하나 줄이면 하나 늘어난다는 식으로 말하는 건지 그게 잘 와닿지가 않아요.
실제로 모델 만들 때 이 개념을 어떻게 활용하는지도 궁금해요. 지금은 그냥 depth 이것저것 넣어보면서 test 성능 제일 좋은 거 고르고 있는데, 이게 결국 그 균형점을 찾는 거라고 봐도 되는 건가요? 개념 잡게 좀 도와주세요.