(데이터) 범주형 데이터에 원핫 인코딩 왜 하나요? 그냥 숫자로 매기면 안 되나요

전처리 배우는 중인데 범주형 컬럼을 모델에 넣으려면 숫자로 바꿔야 한다는 것까진 알겠어요. 근데 방법이 여러 개라 좀 혼란스럽습니다. 그냥 순서대로 번호 매기면 될 걸 왜 굳이 원핫 인코딩이라는 걸 하는지 이해가 안 돼요.

예를 들어 색깔 컬럼이 있다고 하면 저는 이렇게 하면 될 줄 알았어요.

빨강 => 0
초록 => 1
파랑 => 2

이렇게 하면 컬럼 하나로 끝나고 깔끔하잖아요. 근데 이러면 안 된다고 하더라고요. 원핫으로 하면 컬럼이 색깔 개수만큼 늘어나서 오히려 지저분해 보이는데 왜 이게 더 낫다는 건지 모르겠어요.

빨강 초록 파랑
빨강 => 1 0 0
초록 => 0 1 0

제가 어렴풋이 듣기로는 그냥 0,1,2로 매기면 모델이 파랑(2)이 빨강(0)보다 크다, 뭐 이런 식으로 오해한다는 것 같은데 이게 진짜 문제가 되나요? 그리고 무조건 원핫만 써야 하는 것도 아닌 것 같던데, 카테고리 종류가 엄청 많을 때(예를 들어 도시 이름 수백 개)도 그냥 원핫 하면 되는 건지 궁금합니다.