Robots.txt 생성기

비주얼 에디터로 robots.txt를 생성합니다. 표준 사이트, WordPress, 전자상거래, AI 크롤러 차단 프리셋. 사이트맵과 크롤 딜레이 추가.

Robots.txt 생성기는 무엇인가요?

Robots.txt 생성기는 웹사이트 루트에 위치하는 검색 엔진 크롤러 지시 파일을 시각적 편집기로 손쉽게 만들 수 있는 도구입니다. robots.txt는 검색 엔진 봇과 웹 크롤러가 사이트의 어떤 페이지와 경로에 접근하고 크롤링할 수 있는지 알려주는 텍스트 파일입니다. 'Robots Exclusion Standard'라고도 불리는 이 프로토콜은 1994년 제정되었으며, 구글, 빙, 네이버 등 모든 주요 검색 엔진이 준수합니다. robots.txt의 적절한 설정은 SEO와 웹사이트 보안 모두에 중요합니다. 너무 제한적인 robots.txt는 중요한 페이지가 검색 결과에서 누락되는 문제를 일으킬 수 있고, 반대로 너무 허용적인 설정은 관리 페이지, 로그인 경로, 중복 콘텐츠 URL이 인덱싱되어 SEO 점수가 낮아질 수 있습니다. WordPress 관리자 경로(/wp-admin/), WooCommerce 장바구니 페이지(/cart/), 스테이징 서버, 멤버 전용 콘텐츠 등은 일반적으로 크롤링을 차단해야 합니다. 최근에는 OpenAI GPTBot, Anthropic ClaudeBot, Google AI 학습 크롤러 차단도 중요한 robots.txt 설정 항목이 되었습니다.

Robots.txt 생성기 사용 방법

WordPress, 전자상거래(WooCommerce), 표준 HTML 사이트, AI 크롤러 차단 등 사이트 유형에 맞는 프리셋을 선택하거나 처음부터 직접 만드세요. 규칙 추가 버튼으로 새 규칙을 추가하세요. 사용자 에이전트 필드에 봇 이름을 입력하세요(모든 봇에 적용하려면 *). Disallow 필드에 차단할 경로를 입력하고, Allow 필드에 명시적으로 허용할 경로를 추가하세요. 크롤 딜레이를 추가하면 봇이 서버에 과부하를 주지 않도록 요청 사이에 대기 시간을 지정할 수 있습니다. 사이트맵 URL(예: https://example.com/sitemap.xml)을 추가하면 검색 엔진이 사이트 구조를 더 잘 이해할 수 있습니다. 오른쪽 미리보기 패널에서 생성되는 robots.txt 내용을 실시간으로 확인하세요. 복사 버튼으로 내용을 복사하거나 다운로드 버튼으로 파일로 저장한 후 웹서버의 루트 디렉토리에 업로드하세요.

자주 묻는 질문

robots.txt를 어디에 놓나요?

robots.txt는 반드시 웹사이트 루트 디렉토리에 위치해야 합니다. 예: https://example.com/robots.txt. 하위 경로에 있는 robots.txt(예: https://example.com/blog/robots.txt)는 검색 엔진이 인식하지 못합니다. FTP 클라이언트나 파일 관리자로 웹서버의 최상위 공개 폴더(public_html, www, htdocs 등)에 직접 업로드하세요. WordPress를 사용한다면 Yoast SEO 등의 플러그인이 자동으로 생성하고 관리합니다.

AI 크롤러를 차단할 수 있나요?

네. AI 크롤러 차단 프리셋으로 주요 AI 학습 봇을 차단할 수 있습니다. 차단 가능한 주요 봇: OpenAI의 GPTBot(ChatGPT 학습용), Anthropic의 anthropic-ai(Claude 학습용), Google의 Google-Extended(Gemini 학습용), Common Crawl의 CCBot, 기타 여러 AI 관련 크롤러. 단, robots.txt 준수는 자발적이므로 악의적인 봇은 무시할 수 있습니다. AI 봇 차단은 콘텐츠 무단 학습 방지의 첫 번째 방어선입니다.

robots.txt가 인덱싱을 완전히 방지하나요?

아니요. robots.txt의 Disallow는 크롤링(페이지 방문 및 내용 읽기)을 차단하는 것이지 인덱싱(검색 결과에 표시)을 완전히 막지는 않습니다. 구글은 차단된 URL도 다른 페이지에서 링크되어 있다면 URL 자체는 인덱스에 등록할 수 있습니다. 페이지가 검색 결과에 절대 표시되지 않도록 하려면 해당 페이지의 HTML에 <meta name='robots' content='noindex'>를 추가하거나 HTTP 응답 헤더에 X-Robots-Tag: noindex를 설정하세요. 완전한 접근 차단이 필요하다면 서버 수준의 인증(비밀번호 보호)을 사용하세요.

크롤 딜레이(Crawl-delay)는 무엇이고 설정해야 하나요?

Crawl-delay는 봇이 연속 요청 사이에 대기해야 하는 최소 시간(초)을 지정합니다. 예: Crawl-delay: 10은 봇이 10초마다 한 번씩만 요청하도록 합니다. 트래픽이 많지 않은 일반 웹사이트에서는 설정하지 않는 것이 좋습니다. 크롤 딜레이를 너무 높게 설정하면 구글봇이 사이트를 충분히 크롤링하지 못해 새 콘텐츠가 검색 인덱스에 반영되는 시간이 늘어날 수 있습니다. 서버 부하 문제가 있는 경우에만 5-10초 정도로 적당히 설정하세요. 주의: 구글봇은 크롤 딜레이를 무시하고 구글 서치 콘솔의 크롤링 속도 설정을 따릅니다.

모든 페이지를 차단하되 특정 페이지만 허용할 수 있나요?

네. Disallow: /로 모든 경로를 차단하고, Allow: /public/처럼 특정 경로를 명시적으로 허용할 수 있습니다. 규칙 평가는 더 구체적인 경로 규칙이 우선하므로, Allow 규칙이 Disallow 규칙보다 더 구체적이면 해당 경로는 허용됩니다. 이 방식은 스테이징 서버 전체를 차단하면서 일부 확인용 페이지만 공개하거나, 멤버 전용 사이트에서 특정 공개 랜딩 페이지만 인덱싱하는 경우에 유용합니다.