자주 묻는 질문
- Disallow로 Google 색인을 막을 수 있나요?
- 아니요. 크롤링은 막지만 링크를 통해 URL이 색인될 수 있습니다. 색인을 막으려면 크롤링 가능한 페이지에 noindex를 넣으세요.
- robots.txt가 꼭 필요한가요?
- 필수는 아니지만 사이트맵을 알리는 표준 위치이며, 없으면 일부 크롤러가 오류를 기록합니다.
다른 사이트 도구
전체 상황이 궁금하다면 종합 검사를 실행하세요:
크롤러처럼 사이트의 robots.txt를 읽습니다. User-agent별 규칙, 등록된 사이트맵, 검색 엔진을 실수로 차단했는지 알 수 있습니다.