로봇.txt 이해하기

로봇.txt 파일은 웹사이트가 검색 엔진 크롤러 및 기타 웹 로봇과 통신하는 데 사용하는 표준입니다. 이는 봇에게 사이트의 어떤 부분에 접근할 수 있고 접근할 수 없는지를 알려줍니다.

로봇.txt는 웹사이트의 루트에 위치한 일반 텍스트 파일로 (예: example.com/robots.txt), 로봇 배제 프로토콜을 따릅니다. 이 파일은 크롤러에게 사이트에서 접근할 수 있는 URL을 알려주는 규칙을 포함합니다.

로봇.txt 내용을 텍스트 영역에 붙여넣거나 도메인에서 가져오고, 테스트할 URL 경로를 입력하고, 사용자 에이전트를 선택한 후 'URL 테스트'를 클릭하세요. 도구가 즉시 경로가 허용되거나 차단되는지 알려줍니다.

이 도구는 전적으로 브라우저에서 실행됩니다. 로봇.txt 내용과 테스트 URL은 절대 서버로 전송되지 않습니다. 민감한 경로를 포함하는 규칙을 테스트하는 데 완벽합니다.

자주 묻는 질문

로봇.txt 일치 작동 방식은?

로봇.txt는 경로 접두사 일치를 사용합니다. '차단: /admin/'과 같은 규칙은 '/admin/'으로 시작하는 모든 URL을 차단합니다. 와일드카드 (*)는 패턴 일치에 사용될 수 있으며, 달러 기호 ($)는 URL의 끝에 일치를 고정합니다.

우선 순위는 무엇인가요: 허용 또는 차단?

허용 및 차단 규칙이 모두 URL과 일치할 경우, 가장 구체적인 (가장 긴) 규칙이 우선합니다. 길이가 같으면 허용이 우선합니다. 이는 Google의 표준 해석을 따릅니다.

로봇.txt가 페이지 색인을 방지하나요?

아니요, 로봇.txt는 크롤링만 제어하며 색인은 제어하지 않습니다. 로봇.txt에 의해 차단된 페이지는 다른 페이지가 링크하는 경우 검색 결과에 여전히 나타날 수 있습니다. 색인을 방지하려면 'noindex' 메타 태그를 사용하세요.

로봇.txt가 없으면 어떻게 되나요?

로봇.txt 파일이 존재하지 않으면 크롤러는 사이트의 모든 부분에 접근할 수 있다고 가정합니다. 이는 잘 작동하는 봇의 기본 동작입니다.

와일드카드 규칙을 테스트할 수 있나요?

네, 이 도구는 Google 및 기타 주요 검색 엔진에서 사용하는 와일드카드 (*) 일치 및 URL 끝 고정을 지원합니다.

로봇.txt 테스터