모델 만들어서 훈련 데이터로 정확도 재면 98% 넘게 나오는데, 막상 새 데이터 넣으면 70%대로 뚝 떨어집니다. 이게 말로만 듣던 과적합인 것 같은데 정확히 왜 이렇게 되는 건지 감이 안 와요.
그리고 애초에 데이터를 train이랑 test로 왜 굳이 나누는지도 잘 모르겠어요. 다 넣어서 학습시키면 더 좋은 거 아닌가 싶고요. validation이라는 것도 나오던데 test랑 뭐가 다른 건지...
추가로 어디서 스케일링(정규화)을 전체 데이터에 먼저 하고 나서 나누면 안 된다는 얘기를 봤는데 그 이유도 궁금합니다. 결과만 좋으면 되는 거 아닌가요? 데이터가 별로 안 많을 때 평가를 어떻게 신뢰성 있게 하는지도 같이 알려주시면 좋겠습니다.