구글 서치콘솔, 네이버 웹마스터 등에서 'robots.txt' 파일에 오류가 있다고 나옵니다.
1. robots.txt 파일이란?
- robots.txt는 "검색엔진 크롤러(봇)"가 블로그의 특정 페이지에 접근할 수 있는지 여부를 지정하는 파일입니다.
- 검색엔진 크롤러는 robots.txt 설정에 따라 블로그의 일부 페이지를 색인(저장)하거나, 접근을 제한할 수 있습니다.
- 파일 확인 방법: 브라우저 주소창에 블로그주소/robots.txt를 입력하면 robots.txt 설정을 확인할 수 있습니다.
2. 티스토리 robots.txt 기본 설정
티스토리의 robots.txt 파일은 국제표준에 맞춰 설정되며, 기본 정책은 다음과 같습니다.
1) 일반 게시글 (allow)
- 기본적으로 블로그의 일반 게시글은 크롤러가 접근 가능하며, 검색엔진에 색인될 수 있습니다.
2) 제한되는 페이지 (disallow)
- 방명록, 블로그 관리 페이지 등은 크롤러 접근이 제한(disallow)됩니다.
- 검색엔진이 블로그 관리 화면이나 방명록 등의 내용을 수집하지 않도록 설정되어 있습니다.
3) 빙봇(Bingbot) 제한 (crawl-delay)
- Bingbot(빙 검색엔진의 크롤러)은 과도한 트래픽을 유발할 수 있어 crawl-delay(접근 제한)가 적용됩니다.
- 구글(Google) 및 네이버(Naver) 등의 주요 검색엔진 크롤러에는 별도의 제한이 없습니다.
3. 애드센스 또는 네이버 웹마스터 등에서 'robots.txt' 오류 발생
- robots.txt 파일에 문제가 없음에도 애드센스(AdSense) 또는 네이버 웹마스터 도구에서 오류가 발생할 수 있습니다.
- 이는 해당 플랫폼의 검색 크롤러가 정상적으로 사이트를 크롤링하지 못하는 경우 발생할 수 있습니다.
- 티스토리에서 제어할 수 없는 영역으로, 해당 서비스의 고객센터에 문의하는 것을 추천드립니다.
4. robots.txt 직접 수정 가능 여부
- 티스토리는 개별 블로그의 robots.txt 파일을 직접 수정할 수 있는 기능을 제공하지 않습니다.
- 따라서, robots.txt 설정을 변경하고 싶다면 스킨 편집 또는 스킨 내 파일 업로드 기능을 활용하는 방법을 고려해야 합니다.
- 이와 관련된 세부적인 설정 방법은 검색을 통해 확인해 보시는 것을 권장드립니다.