robots.txt 생성기 — AI 크롤러(GPTBot) 차단 프리셋
개발자 도구robots.txt 생성기는 크롤링 허용 정책, Disallow 경로, 사이트맵 위치, AI 크롤러 허용/차단 선택을 조합해 사이트 루트에 올릴 robots.txt 파일을 만들어 주는 도구입니다.
개념 설명
robots.txt는 사이트 루트(/robots.txt)에 두는 텍스트 파일로, RFC 9309 로봇 배제 프로토콜에 따라 크롤러별(User-agent) 접근 허용(Allow)·차단(Disallow) 범위와 사이트맵 위치를 선언합니다. 이 도구는 기본 정책과 차단 경로를 폼으로 입력받고, GPTBot·ClaudeBot·PerplexityBot·CCBot 등 잘 알려진 AI 크롤러를 한 번에 허용하거나 차단하는 프리셋을 제공합니다. robots.txt는 준수를 전제로 한 규약이므로 접근을 강제로 막는 보안 수단은 아닙니다.
robots.txt = User-agent 블록(Allow/Disallow 규칙) 반복 + Sitemap: URL
사용법
- 1기본 정책(모두 허용 또는 모두 차단)과 차단할 경로를 입력합니다.
- 2AI 크롤러 허용/차단 프리셋과 사이트맵 URL을 선택합니다.
- 3생성된 robots.txt를 다운로드해 사이트 루트(/robots.txt)에 업로드합니다.
참조표
| 크롤러 | 운영사 | 용도 |
|---|---|---|
| GPTBot | OpenAI | AI 모델 학습용 수집 |
| ChatGPT-User | OpenAI | ChatGPT 사용자 요청 실시간 조회 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 색인 |
| ClaudeBot | Anthropic | AI 모델 학습용 수집 |
| Google-Extended | Gemini 학습 사용 제어 토큰 | |
| PerplexityBot | Perplexity | AI 검색 색인 |
| CCBot | Common Crawl | 공개 웹 아카이브(AI 학습에 재사용) |
| Bytespider | ByteDance | AI 학습용 수집 |
| Applebot-Extended | Apple | Apple AI 학습 사용 제어 토큰 |
출처/기준
- RFC 9309: Robots Exclusion Protocol - IETF
- Introduction to robots.txt - Google Search Central
- OpenAI crawlers and bots - OpenAI
자주 묻는 질문
입력한 규칙은 서버로 전송되나요?
아니요. robots.txt 생성은 브라우저에서만 처리되며 입력값을 서버로 보내지 않습니다.
robots.txt로 AI 크롤러를 차단하면 완전히 막히나요?
아니요. robots.txt는 크롤러의 자발적 준수를 전제로 한 규약(RFC 9309)입니다. GPTBot 등 주요 AI 크롤러는 준수를 명시하고 있지만, 규칙을 무시하는 봇을 막으려면 서버·방화벽 차단이 필요합니다.
robots.txt에서 Disallow하면 검색 결과에서도 빠지나요?
아닙니다. Disallow는 크롤링만 막을 뿐 이미 알려진 URL은 색인될 수 있습니다. 검색 결과 제외가 목적이면 noindex 메타 태그를 사용하세요.