Search Console을 열었는데 Crawl Stats 그래프에서 하루가 통째로 비어 있다면 꽤 당황스럽습니다. ‘Googlebot이 우리 사이트를 아예 방문하지 않은 건가?’라는 생각부터 들 수 있습니다.
결론부터 말씀드리면 2026년 9월 15일의 공백만으로 개별 사이트 장애라고 판단하기는 어렵습니다. 9월 20일 여러 Search Console 속성에서 같은 날짜가 비어 있는 현상이 관측됐고, 과거에도 비슷한 누락이 발생한 뒤 복구된 사례가 있었습니다.
다만 보고서 누락이라는 관측만 믿고 사이트 상태를 확인하지 않는 것도 안전하지 않습니다. Search Status → Host status → URL Inspection → 서버 로그 순서로 보면 보고 오류와 실제 크롤링 감소를 빠르게 구분할 수 있습니다.
9월 15일 Crawl Stats가 비어 있어도 사이트 장애는 아닐 수 있습니다
Search Engine Roundtable은 2026년 9월 20일 여러 Search Console 속성에서 9월 15일 하루의 Crawl Stats 데이터가 공통으로 빠진 현상을 보도했습니다. 시차에 따라 일부 계정에서는 날짜가 하루 다르게 보일 수 있다는 설명도 덧붙였습니다.
지난 8월과 2021년·2022년·2025년에도 비슷한 데이터 공백이 관측됐고, 이전 사례에서는 누락된 데이터가 나중에 다시 표시됐습니다. 따라서 특정 날짜 하나만 절벽처럼 비어 있고 전후 날짜는 정상이라면 robots.txt나 서버 설정부터 급하게 수정할 필요는 없습니다.
여기서 먼저 구분할 것은 실제 Googlebot 요청이 감소한 것인지, Search Console 보고서에만 공백이 생긴 것인지입니다.
Google Search 장애가 있었는지 먼저 확인하세요
가장 먼저 볼 곳은 Google Search Status Dashboard입니다. 9월 20일 공개된 누락 보도 당시 Google은 Crawling·Indexing·Ranking·Serving 관련 별도 장애를 등록하지 않았습니다. 현재 확인 가능한 공식 대시보드에서도 해당 날짜의 전면적인 크롤링 장애 공지는 확인되지 않습니다.
확인 순서는 다음과 같습니다.
1. Search Console에서 누락된 날짜와 전후 날짜를 확인합니다. 2. Google Search Status Dashboard에서 공식 장애가 있었는지 확인합니다. 3. Crawl Stats의 Host status를 확인합니다. 4. URL Inspection에서 주요 페이지의 최근 크롤링 날짜를 봅니다. 5. 서버 access log에서 해당 날짜의 Googlebot 요청을 확인합니다. 6. DNS·5xx·robots.txt 오류가 있었는지 확인합니다.
여기까지 이상이 없다면 Search Console 그래프 한 칸만 보고 서버 장애라고 판단할 근거는 약합니다.
Host status가 초록색인지 확인하세요
Search Console의 Crawl Stats는 Googlebot 방문 횟수만 보여주는 보고서가 아닙니다. Settings → Crawl stats로 들어가면 총 크롤 요청, 다운로드 크기, 평균 응답시간과 함께 Host status를 확인할 수 있습니다.
Google은 Host status를 최근 90일 동안 크롤링 과정에서 사이트 가용성 문제가 있었는지 보여주는 지표로 설명합니다. 초록색이고 최근 오류가 없다면 Google이 의미 있는 접근 장애를 발견하지 않았다는 뜻입니다.
그래프 한 칸이 빈 것보다 Host status와 서버 응답이 정상인지가 훨씬 중요합니다. 최근 오류가 표시된다면 해당 항목의 세부 그래프와 서버 기록을 함께 확인하세요.
| 확인 항목 | 문제가 있을 때 볼 것 |
|---|---|
| robots.txt | 접근 실패·잘못된 차단 |
| DNS | 도메인 해석 실패 |
| Host connectivity | 서버 연결 실패 |
| Server response | 5xx 증가·응답 지연 |
| Crawl requests | 실제 요청량 급감 |
서버 로그를 보면 실제 Googlebot 방문 여부를 확인할 수 있습니다
조금 더 확실하게 확인하고 싶다면 웹서버 로그를 봅니다. Nginx라면 일반적으로 다음 명령으로 Googlebot이라는 user-agent가 포함된 요청을 찾을 수 있습니다.
grep -i "Googlebot" /var/log/nginx/access.log특정 날짜만 확인하려면 먼저 access log의 날짜 형식을 확인한 뒤 grep 조건을 추가합니다. 로그가 압축되거나 날짜별 파일로 분리되는 서버라면 회전된 로그도 확인해야 합니다.
다만 이 명령은 Googlebot이라고 적힌 요청을 찾는 것이지, 요청이 실제 Google에서 왔다는 사실까지 증명하지는 않습니다. user-agent는 다른 봇이 위장할 수 있습니다. 중요한 판단을 내리기 전에는 요청 IP의 역방향 DNS를 확인하거나 Google이 공개한 Googlebot IP 대역과 대조해야 합니다.
Search Console에서 9월 15일이 비어 있는데 검증된 Googlebot 요청이 서버 로그에 계속 남아 있다면 크롤링이 멈춘 것이 아니라 보고서 데이터가 빠진 쪽에 가깝습니다. Google도 Crawl Stats가 대부분의 요청을 보여주지만 일부 요청은 집계되지 않을 수 있다고 안내합니다.
실제 크롤링 감소라면 다른 신호가 함께 나타납니다
그렇다면 언제부터 걱정해야 할까요? 하루 그래프가 비어 있는 것과 며칠 동안 전체 요청이 계속 떨어지는 상황은 다릅니다.
특히 아래 현상이 함께 나타난다면 서버나 사이트 설정을 확인해야 합니다.
Google 공식 안내에 따르면 서버 응답이 느려지거나 오류율이 높아지면 Googlebot이 서버 부담을 줄이기 위해 요청 속도를 낮출 수 있습니다. 특정 날짜 하나만 비어 있고 주변 날짜와 서버 기록이 정상인 상황과는 구분해서 봐야 합니다.
- Host status에 최근 오류가 표시됩니다.
- 5xx 응답이 갑자기 증가했습니다.
- DNS 또는 서버 연결 오류가 발생합니다.
- robots.txt를 최근 수정했습니다.
- 서버 응답시간이 크게 늘었습니다.
- URL Inspection에서도 최근 크롤링이 멈췄습니다.
- 서버 로그에서도 검증된 Googlebot 요청이 줄었습니다.
이번에는 설정을 바꾸기보다 먼저 기다려보세요
9월 15일 하루의 Crawl Stats 공백만 발견했다면 지금 당장 robots.txt나 서버 설정을 바꿀 필요는 없습니다. 여러 속성에서 같은 날짜 누락이 관측됐고 과거에도 비슷한 문제가 복구된 사례가 있습니다.
우선 Status → Host status → URL Inspection → 서버 로그 순서로 확인하세요. 모두 정상이라면 며칠 동안 데이터가 다시 채워지는지 지켜보면 됩니다.
반대로 보고서 공백이 며칠간 이어지고 Host status 오류나 5xx 증가, 서버 로그의 Googlebot 요청 감소까지 함께 나타난다면 그때부터 실제 크롤링 문제를 조사해야 합니다. 설정 변경 전에는 현재 robots.txt와 서버 설정을 백업하고, 변경 사항을 한 번에 하나씩 적용하는 편이 안전합니다.
자주 묻는 질문
Crawl Stats가 0이면 Googlebot이 방문하지 않은 건가요?
반드시 그런 것은 아닙니다. Search Console에는 실제 크롤 요청 일부가 집계되지 않을 수 있으며, 이번 9월 15일처럼 보고 데이터 자체가 빠지는 사례도 있습니다.
데이터가 비면 robots.txt를 다시 설정해야 하나요?
바로 수정하지 않는 편이 좋습니다. Host status와 서버 로그를 확인하고 실제 robots.txt 접근 실패나 차단 문제가 확인될 때만 설정을 변경하세요.
Search Console과 서버 로그 숫자가 다른데 정상인가요?
조금 다른 것은 정상일 수 있습니다. Google은 Crawl Stats가 모든 크롤 요청을 완벽하게 집계하지는 않는다고 안내합니다.
데이터는 다시 복구될 수 있나요?
과거에는 복구된 사례가 있습니다. 다만 복구 시점은 보장되지 않으므로 사이트 상태 확인과는 별개로 지켜봐야 합니다.
며칠 동안 크롤 요청이 계속 줄면 어떻게 해야 하나요?
그때는 단순 보고 오류로 넘기지 말고 Host status, 5xx 응답, DNS, robots.txt, 서버 응답시간과 실제 Googlebot 로그를 함께 확인해야 합니다.
확인할 점
2026년 9월 15일 데이터 공백은 여러 Search Console 속성에서 관측된 보고 누락 사례를 기준으로 설명했습니다. 개별 사이트의 Host status나 서버 로그에서 오류가 함께 나타난다면 별도의 크롤링 장애일 수 있으므로 사이트별 확인이 필요합니다.
자주 묻는 질문
Crawl Stats가 0이면 Googlebot이 방문하지 않은 건가요?
반드시 그런 것은 아닙니다. Search Console 보고서에는 일부 요청이 집계되지 않을 수 있고, 특정 날짜의 데이터 자체가 누락되는 사례도 있습니다. Host status와 서버 로그를 함께 확인하세요.
데이터가 비면 robots.txt를 다시 설정해야 하나요?
바로 수정하지 않는 편이 좋습니다. 먼저 Host status, robots.txt 접근 상태, 서버 로그를 확인하고 실제 차단이나 접근 실패가 확인될 때만 설정을 변경하세요.
Search Console과 서버 로그 숫자가 다른데 정상인가요?
조금 다른 것은 정상일 수 있습니다. Google은 Crawl Stats가 대부분의 크롤 요청을 보여주지만 일부 요청은 집계되지 않을 수 있다고 안내합니다.
누락된 데이터는 다시 복구될 수 있나요?
과거에는 공백이 다시 채워진 사례가 있습니다. 다만 복구 시점을 보장할 수는 없으므로 사이트 상태는 별도로 점검하는 것이 안전합니다.
며칠 동안 크롤 요청이 계속 줄면 어떻게 해야 하나요?
그때는 단순 보고 오류로 넘기지 말고 Host status, 5xx 응답, DNS, robots.txt, 응답시간과 실제 Googlebot 로그를 함께 확인해야 합니다.