robots.txt 생성기 및 테스터
무료 robots.txt 생성기 및 테스터: Googlebot, Bingbot, AI 크롤러용 규칙을 만들고 Google의 매칭 규칙으로 URL이 차단되는지 확인하세요.
함께 보기: 메타 태그 생성기 · 오픈 그래프(OG) 태그 생성기 · UTM 링크 생성기
무엇을 하나
robots.txt는 사이트의 루트에 있으며 크롤러가 가져와도 되는 경로를 알려 줍니다. 규칙은 user agent별로 묶이고, 크롤러는 자신을 지정한 가장 구체적인 그룹 또는 * 그룹을 따릅니다. 그룹 안에서는 일치하는 경로가 가장 긴 규칙이 우선하고, 길이가 같으면 허용이 이깁니다. *는 임의의 문자열과 일치하고 $는 URL의 끝을 나타냅니다. robots.txt로 페이지를 차단해도 검색 결과에서 사라지지 않으므로 그럴 때는 noindex 태그를 사용하세요.
사용 방법
- “생성”에서 허용하거나 차단할 항목을 고르고 AI 크롤러와 사이트맵을 추가하세요.
- 결과를 사이트 루트에 robots.txt라는 이름의 파일로 복사하세요.
- “테스트”에서 아무 robots.txt나 붙여넣고 특정 크롤러에 대한 URL을 확인하세요.
자주 묻는 질문
robots.txt로 페이지가 색인되는 것을 막을 수 있나요?
아니요. 크롤링만 막으며, 차단된 URL도 다른 사이트에서 링크하면 검색 결과에 나타날 수 있습니다. 페이지를 색인에서 빼려면 크롤링을 허용한 상태에서 noindex 메타 태그를 추가하세요.
AI 학습용으로 어떤 크롤러를 차단할 수 있나요?
가장 잘 알려진 것은 GPTBot(OpenAI), Google-Extended(검색에 영향 없는 Google AI 모델용), CCBot(Common Crawl), ClaudeBot(Anthropic), PerplexityBot, Applebot-Extended입니다. 각 운영사는 robots.txt를 준수한다고 밝히고 있습니다.