14. 워드프레스 robots.txt 루트 폴더 오류를 만나고 확인한 것들
워드프레스를 운영하면서 검색엔진 관련 설정을 하다 보면 robots.txt 파일을 만나게 됩니다.
저 역시 웹마스터 도구에서 robots.txt 파일을 설정하려다 루트 폴더에 파일이 있어 콘텐츠가 잠겨 있다는 취지의 오류 메시지를 본 적이 있습니다.
처음에는 워드프레스 관리자 화면에서 단순히 내용을 수정하면 될 것이라고 생각했지만 robots.txt가 어디에서 제공되는지부터 확인해야 했습니다.
robots.txt는 무엇을 할까?
robots.txt는 검색엔진 크롤러에게 사이트의 어느 경로를 크롤링해도 되는지 알려주는 파일입니다.
사이트 주소 뒤에 /robots.txt를 입력하면 현재 제공되는 내용을 확인할 수 있습니다.
중요한 것은 robots.txt가 검색 결과에서 페이지를 완전히 숨기는 보안 기능은 아니라는 점입니다.
민감한 페이지를 숨기기 위한 방법으로 사용해서는 안 됩니다.
워드프레스에서는 실제 파일이 없을 수도 있다
워드프레스는 실제 루트 폴더에 robots.txt 파일이 없어도 가상의 robots.txt를 제공할 수 있습니다.
그런데 서버 루트에 실제 robots.txt 파일이 존재하면 그 파일이 우선 사용되는 환경이 있을 수 있습니다.
이 경우 플러그인이나 관리자 화면에서 변경하려 해도 실제 파일 때문에 수정이 반영되지 않는 것처럼 보일 수 있습니다.
제가 오류 메시지를 보고 가장 먼저 확인해야 했던 것도 이 부분이었습니다.
무작정 삭제하면 안 된다
루트 폴더에 파일이 있다는 이유로 바로 삭제하는 것은 좋지 않습니다.
현재 robots.txt 내용과 파일 위치를 먼저 확인하고 백업한 뒤 수정해야 합니다.
웹호스팅의 파일 관리자나 FTP를 이용하는 경우에도 원본을 복사해 두는 것이 안전합니다.
검색을 막는 설정이 있는지 확인
robots.txt 안에 중요한 콘텐츠 경로가 Disallow로 막혀 있지 않은지 확인합니다.
특히 사이트 이전이나 테스트 과정에서 검색엔진 접근을 차단해두었다면 운영 사이트에서도 설정이 남아 있지 않은지 살펴보는 것이 좋습니다.
robots.txt를 많이 작성한다고 SEO가 좋아지는 것은 아니다
처음에는 검색엔진 설정을 세밀하게 할수록 좋은 줄 알기 쉽습니다.
하지만 정상적인 워드프레스 블로그에서는 반드시 복잡한 robots.txt가 필요한 것은 아닙니다.
오히려 중요한 페이지를 실수로 차단하면 검색엔진이 콘텐츠를 제대로 수집하지 못할 수 있습니다.
이번 오류에서 얻은 교훈
저에게 이 문제는 단순히 robots.txt 한 줄을 수정하는 작업보다 워드프레스가 서버 파일과 연결되어 있다는 점을 이해하게 해준 경험이었습니다.
관리자 화면에서 보이는 설정 뒤에는 실제 웹호스팅의 파일과 웹 서버가 있습니다.
오류 메시지가 나오면 인터넷에서 찾은 코드를 바로 붙여 넣기보다 현재 내 서버에 어떤 파일이 있고 어떤 설정이 적용되어 있는지 먼저 확인하는 것이 안전합니다.
워드프레스를 운영하면서 이런 작은 오류를 하나씩 해결하는 과정이 단순한 용어 설명보다 훨씬 많은 공부가 됐습니다.