[구글 SEO 03] "발견됨" vs "크롤링됨-색인 안 됨"의 차이

GSC 페이지 리포트를 열면 색인 안 됨 항목에 비슷한 이름 두 개가 나란히 있다. 발견됨-현재 색인 생성되지 않음(Discovered, currently not indexed)과 크롤링됨-현재 색인 생성되지 않음(Crawled, currently not indexed). 이름이 닮아서 그게 그거 같지만, 사실은 원인도 처방도 정반대다. 이 둘을 구분 못 하면 엉뚱한 곳을 몇 주씩 고치느라 시간을 통째로 날린다.

두 상태의 결정적 차이는 딱 하나다. 구글이 그 URL을 실제로 방문(크롤)했느냐 아니냐다. 발견은 했지만 아직 안 가본 것과, 가서 내용까지 봤지만 색인은 거절한 것. 이 한 끗이 색인이 안 되는 이유를 완전히 다른 세계로 갈라놓는다. 하나는 봇을 부르는 문제이고, 다른 하나는 콘텐츠를 고치는 문제다. 내가 어느 쪽인지 모르면 어떤 처방을 해도 그건 찍기에 불과하다.

1. 발견됨-색인 안 됨 = 크롤조차 못 갔다

발견됨은 구글이 이 URL의 존재는 알지만 아직 크롤조차 하지 않은 상태다. 사이트맵이나 내부 링크로 주소는 발견했는데, 실제로 방문해서 내용을 가져오는 단계까지 못 간 것이다. 원인은 대부분 크롤 예산 부족이다. 크롤 대기열(queue)에 넣어두긴 했는데 우선순위가 낮아서 계속 뒤로 밀리는 상태다. 봇이 하루에 처리할 수 있는 양은 정해져 있는데 내 URL의 차례가 안 오는 것이다.

이건 신생 도메인의 전형적인 증상이고, 앞 편들에서 말한 낮은 크롤 수요(crawl demand)가 그대로 드러나는 지점이다. 핵심은 이게 콘텐츠 품질 문제가 아니라는 것이다. 구글이 아직 내용을 안 봤으니 품질을 평가했을 리가 없다. 그러니 발견됨이 잔뜩 쌓였다고 본문이 나빠서 그런가 하며 글을 뜯어고치면 완전히 헛다리다. 문제는 글이 아니라 봇이 아직 안 왔다는 데 있다. 여기서 필요한 건 글 수정이 아니라, 봇을 더 자주 오게 만들 이유를 사이트에 심는 것이다.

조금 더 직관적으로 비유하면 이렇다. 발견됨은 맛집 리스트에 이름은 올랐는데 손님이 아직 안 와본 가게이고, 크롤링됨은 손님이 와서 먹어보고는 다시 안 올 것 같다고 판단한 가게다. 전자는 홍보와 접근성의 문제이고 후자는 음식 자체의 문제다. 고쳐야 할 게 간판인지 주방인지가 완전히 다르다.

2. 크롤링됨-색인 안 됨 = 보고 나서 뺐다

반대로 크롤링됨은 구글이 실제로 방문해서 내용을 가져갔는데도 색인에 안 넣기로 선택한 상태다. 이건 훨씬 더 무거운 신호일 수 있다. 봤는데 색인할 가치가 없다고 판단했다는 뜻이기 때문이다. 즉 봇을 부르는 문제는 이미 해결됐고, 이제 콘텐츠 자체가 심판대에 오른 것이다.

흔한 원인은 얇은 콘텐츠(thin content), 다른 페이지와의 중복, 자동 생성되거나 집계성으로 보이는 문서다. 스크랩하거나 짧게 퍼온 글이 많은 사이트에서 이 항목이 잘 쌓인다. 즉 발견됨은 구글이 나를 아직 안 본 것이고, 크롤링됨은 나를 보고 별로라고 한 것이다. 당연히 후자가 더 아프다. 다만 새 글이 크롤된 직후 잠깐 이 상태에 머물다 며칠 뒤 색인되는 정상 지연도 있으니, 오래 눌러앉는 것과 잠깐 거쳐 가는 것을 반드시 구분해야 한다. 같은 URL을 며칠 간격으로 다시 확인해보면 둘 중 어느 쪽인지 드러난다.

그래서 발견됨이 많을 땐 조바심이 오히려 독이다. 글을 자꾸 수정하면 수정일이 갱신되며 재크롤 대기열만 더 길어질 수 있다. 필요한 건 글 손질이 아니라, 내부 링크와 사이트맵으로 봇에게 이 URL이 중요하다는 신호를 꾸준히 주고 기다리는 것이다. 신생 도메인에서 이 인내가 가장 어렵지만 가장 중요하다.

현실적으로는 두 상태가 섞여 있는 경우가 대부분이다. 발견됨 몇백에 크롤링됨 몇십 하는 식이다. 이럴 땐 비율과 절대 수를 함께 본다. 발견됨이 압도적이면 우선 예산 문제로 접근하되, 크롤링됨도 꾸준히 늘고 있다면 품질 쪽도 병행해서 손봐야 한다. 둘 중 무엇이 더 빠르게 늘고 있는가가 우선순위를 정해준다.

3. 처방이 정반대다

그래서 처방이 갈린다. 발견됨이 다수라면 크롤 예산 문제이므로, 봇을 더 자주 부르고 크롤을 유도해야 한다. 죽은 URL을 치워 예산을 회수하고, 내부 링크를 촘촘히 걸어 크롤 경로를 만들고, 사이트맵을 정돈하고, 정기적으로 발행해서 크롤 수요를 끌어올린다. 초점은 전부 접근성과 발견성이지 문장력이 아니다.

반대로 크롤링됨이 다수라면 품질 문제이므로, 본문을 두껍게 보강하고, 중복을 canonical로 정리하고, 퍼온 글은 제목과 도입부를 자기 말로 새로 써서 차별화한다. 발견됨에 품질 처방을 하거나 크롤링됨에 예산 처방을 하면 아무리 해도 숫자가 안 움직인다. 진단이 틀리면 처방은 반드시 헛돈다. 그래서 손대기 전에 내 사이트가 둘 중 어느 쪽인지부터 확정하는 게 모든 작업의 출발점이 되어야 한다.

크롤링됨이 많을 때 특히 조심할 것은, 원인을 개별 글이 아니라 패턴에서 찾아야 한다는 점이다. 특정 게시판 글이 통째로 크롤링됨에 몰려 있다면 그 게시판의 템플릿이 얇거나 중복 요소가 많다는 뜻이다. 한 글만 고치지 말고 그 유형 전체의 구조를 손봐야 숫자가 움직인다.

처방의 효과도 지표로 확인해야 한다. 예산 처방을 했으면 발견됨 수가 줄며 색인됨으로 넘어가는지를, 품질 처방을 했으면 크롤링됨 수가 줄어드는지를 몇 주 단위로 본다. 처방을 해놓고 확인을 안 하면 그게 맞았는지 알 수가 없다. 진단, 처방, 그리고 지표로 검증. 이 세 박자가 다 있어야 한 사이클이 비로소 닫힌다.

4. 내가 실제로 판독한 방법

진단은 표본으로 한다. 색인 안 됨 목록에서 URL을 열 개쯤 뽑아 URL 검사에 넣어보면 각각이 발견됨인지 크롤링됨인지 바로 나온다. 대단한 도구가 필요한 게 아니라 GSC 안에서 5분이면 끝나는 확인이다. 내 사이트는 초기에 발견됨이 압도적이었다. 크롤조차 못 간 글이 대부분이라는 뜻이고, 이건 품질이 아니라 예산 문제라는 강한 신호였다.

그래서 나는 본문을 뜯어고치는 대신 죽은 URL 청소와 사이트맵 정돈, 내부 링크 보강으로 방향을 잡았다. 만약 크롤링됨이 압도적이었다면 완전히 다른 작업, 즉 콘텐츠 자체를 손봤어야 한다. 진단을 건너뛰고 처방부터 했으면 몇 주를 헛수고했을 것이다. 표본 열 개만 찍어봐도 방향이 잡히니, 이 짧은 확인을 절대 생략하면 안 된다. SEO에서 가장 비싼 실수는 틀린 문제를 열심히 푸는 것이다.

표본을 뽑을 때도 요령이 있다. 오래된 글과 최근 글, 게시판별로 골고루 섞어서 뽑아야 편향이 안 생긴다. 최근 글만 보면 정상 지연을 문제로 오인하고, 오래된 글만 보면 이미 해결된 걸 문제로 볼 수 있다. 시기와 유형을 섞은 표본이 사이트의 진짜 상태를 보여준다.

판독을 도와주는 또 하나의 단서는 로그 파일이다. 서버 로그에서 구글봇의 방문 기록을 뽑아보면 특정 URL을 실제로 방문했는지 아닌지가 GSC 상태와 별개로 확인된다. GSC는 며칠 지연되지만 로그는 실시간이라, 봇이 지금 어디를 돌고 있는지 궁금할 때 로그만큼 정직한 자료가 없다. 여력이 되면 로그 분석을 꼭 곁들이길 권한다.

5. 곧 색인된다는 위로에 기대지 마라

발견됨-색인 안 됨은 2주에서 4주 사이에 자체 해결되는 경우가 많다는 통설이 있고, 이건 대체로 맞다. 문제는 이걸 만능 위안으로 쓰는 것이다. 특히 AI에게 물어보면 재평가 동결(Freeze) 프로토콜 같은 그럴듯한 서사로 100퍼센트 안심하라고 답하기도 하는데, 구글 공식 문서 어디에도 그런 메커니즘은 없다. 듣기 좋은 말이지 근거가 아니다.

몇 주가 지나도 안 풀리거나 크롤링됨-색인 안 됨이 계속 쌓이면, 그건 지연이 아니라 구조나 품질의 문제다. 위로용 서사로 덮지 말고 지표로 추적해야 한다. 나는 표본 URL 몇 개를 정해두고 며칠 간격으로 상태가 색인됨으로 바뀌는지 관찰했다. 정말 자연 해결 중이면 표본이 하나둘 색인으로 넘어가고, 방치된 거라면 몇 주가 지나도 요지부동이다. 관찰만이 위안과 현실을 구분해준다. 다음 편에서는 이 지표들이 실제로 한꺼번에 무너졌다가 회복된 과정을 통째로 기록으로 남긴다.

마지막으로 강조하고 싶은 건, 이 두 지표는 고정된 라벨이 아니라 흐르는 상태라는 점이다. 오늘 발견됨이던 URL이 다음 주엔 크롤링됨을 거쳐 색인됨으로 갈 수도 있고, 그 반대로 갈 수도 있다. 그래서 한 번 찍고 끝내지 말고, 같은 표본이 시간에 따라 어느 방향으로 흐르는지를 봐야 회복 중인지 정체인지가 보인다.