측정 · 2026-11-10

AI가 우리 홈페이지를 실제로 읽고 있을까? 서버 기록으로 확인하는 법

ChatGPT 답변 화면만 봐서는 AI가 사이트를 읽었는지 알 수 없습니다. 서버 기록의 AI 크롤러 방문을 회사별·페이지별로 세는 방법과, 한 병원 사이트가 30일 동안 2.8만 번 읽힌 사례를 정리했습니다.

글 · 이영식 (Footnote 대표) · 읽는 시간 약 5분

AI 답변에 우리 이름이 나오려면, 먼저 AI가 우리 페이지를 읽어야 합니다. 그런데 대부분의 GEO 리포트는 답변 화면 캡처만 보여 줍니다. 답변 화면은 결과이고, 서버 기록은 원인입니다. 둘을 함께 봐야 무엇을 고쳐야 할지 보입니다.

한 달 동안 2.8만 번, 누가 읽었나

Footnote가 만든 레퍼런스 병원 D의 사이트는 최근 30일 동안 AI 크롤러 요청을 약 2만 8천 번 받았습니다. 하루 평균 약 930번입니다.1

회사대표 크롤러30일 요청
AppleApplebot7,260
AmazonAmazonbot5,270
OpenAIGPTBot 외4,980
AnthropicClaudeBot 외4,010
MetaMeta-ExternalAgent 외3,830
GoogleGooglebot 외2,180
Cloudflare AI 크롤러 통계 화면. 전체 요청 28k, 허용 28k, 실패 120. 회사별 허용 요청 Apple 7.26k, Amazon 5.27k, OpenAI 4.98k, Anthropic 4.01k, Meta 3.83k, Google 2.18k. 도메인 블라인드
Cloudflare AI 크롤러 통계 실제 화면 · 레퍼런스 병원 D · 도메인 블라인드

눈여겨볼 점은 두 가지입니다. ChatGPT를 만드는 OpenAI와 Claude를 만드는 Anthropic이 매일 찾아온다는 것, 그리고 요청 대부분이 정상 응답을 받았다는 것입니다. 같은 기간 실패한 요청은 120건이었습니다.1

우리 사이트도 확인하는 4단계

  1. robots.txt부터 봅니다. 주소 끝에 /robots.txt를 붙여 열어 보세요. GPTBot, ClaudeBot, PerplexityBot, Google-Extended가 Disallow로 막혀 있다면 그 AI는 읽지 못합니다.
  2. 서버나 CDN의 봇 통계를 켭니다. Cloudflare를 쓰면 대시보드에서 AI 크롤러 통계를 회사별로 볼 수 있습니다. 다른 호스팅이라면 접속 기록(access log)에서 User-Agent에 위 이름이 들어간 줄을 셉니다.
  3. 어떤 페이지를 읽었는지 봅니다. 홈과 robots.txt만 읽고 시술 페이지는 거의 안 읽는다면, 내부 링크나 사이트맵에 문제가 있을 가능성이 큽니다.
  4. 실패 응답을 봅니다. 4xx·5xx가 많다면 방화벽이 AI 크롤러를 막고 있거나 페이지 주소가 바뀐 경우입니다.

읽었는데도 답변에 안 나온다면

AI가 읽는 것과 인용하는 것은 다른 단계입니다. 읽은 기록은 있는데 답변에 안 나온다면 문제는 내용 쪽에 있습니다. 질문에 첫 문단에서 바로 답하는지, 이름·경력·주소가 다른 출처와 일치하는지, 논문이나 학회 발표처럼 확인 가능한 근거가 있는지를 점검하세요. 연구에서는 출처 표기·인용·통계를 더했을 때 AI 답변 노출이 최대 40% 늘었습니다.2

Footnote 월간 리포트는 이 두 가지를 함께 보여 드립니다. AI가 몇 번, 어떤 페이지를 읽었는지와, 같은 기간 답변에서 몇 번 언급·인용됐는지입니다.

1Cloudflare AI 크롤러 통계, 레퍼런스 병원 D(블라인드), 최근 30일, 회사별 크롤러 합산. 전체 요청 27.65k, 그중 22,340건 HTTP 200 응답. ↩

2Aggarwal et al., “GEO: Generative Engine Optimization”, KDD 2024 (arXiv:2311.09735). ↩

자주 묻는 질문

AI 크롤러가 우리 사이트를 읽는지 어떻게 확인하나요?

서버나 CDN의 접속 기록에서 User-Agent에 GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 같은 이름이 들어간 요청을 셉니다. Cloudflare를 쓰면 대시보드의 AI 크롤러 통계에서 회사별로 볼 수 있습니다.

robots.txt에서 AI 크롤러를 막으면 어떻게 되나요?

막힌 AI는 페이지를 읽지 못하므로 답변의 출처로 인용할 수 없습니다. 검색용 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot)는 열어 두는 것이 좋습니다.

AI가 읽었는데도 답변에 안 나오는 이유는 무엇인가요?

읽는 것과 인용하는 것은 다른 단계입니다. 질문에 첫 문단에서 바로 답하는지, 이름·경력·주소가 다른 출처와 일치하는지, 확인 가능한 근거가 있는지를 점검해야 합니다.

지금 AI는 우리 브랜드를
어떻게 알고 있을까요?

핵심 질문 15개를 5개 AI에 물어본 결과를 무료로 보내드립니다.

무료 진단 신청하기 또는 [email protected]