robots.txt 생성기
검색 엔진 크롤러의 접근을 제어하는 robots.txt 파일을 시각적으로 생성합니다.
규칙 1
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
이 도구 소개
robots.txt는 웹 크롤러에게 사이트의 어떤 부분을 크롤링해도 되는지 알려주는 표준 파일입니다. 사이트 루트(/)에 위치해야 합니다.
프리셋으로 빠르게 설정하거나, User-agent별 규칙을 직접 구성할 수 있습니다. 사이트맵 URL을 추가하면 크롤러가 사이트 구조를 쉽게 파악합니다.
사용 방법
- 프리셋을 선택하거나 User-agent, Allow, Disallow 필드를 직접 입력합니다.
- "규칙 추가" 버튼으로 봇별 규칙을 추가합니다.
- 사이트맵 URL과 선택적으로 Crawl-delay를 설정합니다.
- 생성된 텍스트를 복사하거나 다운로드해 사이트 루트에 업로드합니다.
활용 사례
SEO 전문가, 웹 개발자, 사이트 관리자가 크롤 예산 최적화, 민감 영역 보호, 특정 봇 차단에 활용합니다.
자주 묻는 질문
- robots.txt로 검색 노출을 막을 수 있나요? — 크롤링은 막을 수 있지만 색인은 막지 못합니다. 색인을 막으려면 noindex 메타 태그나 X-Robots-Tag 헤더를 사용하세요.
- 모든 크롤러가 robots.txt를 지키나요? — Googlebot, Bingbot 같은 신뢰할 수 있는 크롤러는 지킵니다. 악성 스크레이퍼는 무시할 수 있습니다.
- robots.txt는 어디에 두어야 하나요? — 항상 사이트 루트에 두어야 합니다. 예: https://example.com/robots.txt