웹서핑을 하거나 웹사이트를 관리할 때, 모두 한 번쯤 페이지 오류를 보신 적이 있을 겁니다. 웹사이트에는 여러 가지 오류가 발생할 수 있으며, 그 중 가장 유명한 예시는 HTTP 404 오류 혹은 ‘페이지를 찾을 수 없습니다’라는 오류 메시지입니다. 바로 아래 화면과 같이 생겼습니다.
이 페이지는 링크를 클릭하거나 URL을 입력하였을 때 서버와 통신할 수는 있지만 서버가 요청한 바를 찾을 수 없다는 것을 가리키는 HTTP의 표준 응답 코드 입니다. 이러한 페이지로 연결을 하는 링크들을 ‘브로큰 링크(broken link)’라고 합니다. 물론 모든 웹사이트 운영자는 방문자들이 이러한 상황을 겪지 않기를 바랄 것입니다. 링크의 신뢰성과 사용자 경험을 하락시키기 때문이지요. 하지만 더 큰 문제는 이러한 404 오류가 검색엔진 최적화에 나쁜 영향을 미치며, 심한 경우에는 구글의 검색 순위까지 떨어뜨릴 수 있다는 것입니다.
이렇듯 심각한 웹사이트 오류 문제를 해결하기 위해서 다음의 두 가지 방법을 권해드립니다.
1.오류를 찾아내기 위한 외부 툴 사용
첫 번째는 웹사이트 오류를 찾아내기 위해 외부 틀을 사용하여 모니터링을 하는 것입니다.
구글 서치 콘솔
구글 서치 콘솔은 웹사이트의 구글 검색 결과를 모니터링하고 검색 순위를 관리할 수 있게 도와주는 구글 제공 무료 서비스입니다. 웹사이트에 서치 콘솔을 연동하면 크롤링 오류 등 구글이 검색순위 산정에 활용하는 많은 데이터를 볼 수 있습니다. 구글 서치 콘솔을 처음 활용해보고 싶으시다면 트윈워드의 ‘구글 서치 콘솔(구:웹마스터 도구) 사용법 가이드‘ 포스트를 참고하세요.
서치 콘솔에 들어가게 되면, 아래 그림과 같이 ‘크롤링 오류’, 혹은 ‘크롤링 통계’와 같은 기능들이 보입니다.
이 중 ‘크롤링 오류’ 탭에 들어가게 되면 다음의 두 항목으로 리포트가 구성되어있습니다.
사이트 오류
이 항목은 지난 90일 동안 구글 봇이 어떤 오류 때문에 웹사이트 자체를 크롤링하지 못하게 된 적이 있었다면, 그와 관련된 오류들을 설명해줍니다.
URL 오류
이 항목은 웹사이트 내의 특정 페이지들의 URL이 데스크톱 혹은 모바일 환경에서 구글 수집로봇에게 수집되지 못했을 때 나타나는 오류를 말합니다.
위 그림에 나와있는 서치 콘솔의 robots.txt 테스터는 해당 사이트의 robots.txt 파일을 수정하고 오류가 있는지 확인할 수 있는 기능입니다. robot.txt는 ‘Robots.txt와 Sitemap.xml 알아보기’에서 확인할 수 있듯이 웹사이트에 대한 검색엔진 로봇들의 접근을 조절해주고 제어해주는 역할, 그리고 로봇들에게 웹사이트의 사이트맵이 어디에 있는지 알려주는 역할을 합니다. 서치 콘솔의 robots.txt 테스터에서 의도하지 않은 페이지가 크롤링이 불가하게 막혀있다면, 이를 수정해야 합니다.
2.존재하지 않는 페이지 리다이렉션 하기
페이지 리다이렉션은 없어지거나 현재 필요하지 않은 페이지를 다른 페이지로 링크하게 만드는 방법입니다. 예를 들어, www.example.com/old-post 를 www.example.com/new-post로 리다이렉트로 하면 www.example.com/old-post의 링크를 누르면 www.example.com/new-post 로 자동으로 넘어가게 되는 것입니다.
리다이렉션은 두 가지 종류가 있는데요, 301 리다이렉션과 302 리다이렉션이 있습니다.
-301 영구 리다이렉션
301 리다이렉션은 페이지가 영구적으로 새로운 주소로 옮겨졌을 때 활용하는 리다이렉션 방법입니다. 만약에 이전 웹페이지를 개편하여 새로운 웹페이지로 영구적으로 옮겼을 경우 301 리다이렉션을 사용하시면 됩니다. 그렇게 한다면 구글 봇이 이를 영구적인 주소 이전으로 수집(크롤링)할 수 있습니다.
-302 일시적 리다이렉션
302 리다이렉션은 주소 이전이 일시적일 때 사용하는 리다이렉션 방법입니다. 예를 들어서 404 오류 페이지가 나오게 되는 브로큰 링크를 해결할 동안 일시적으로 주소 이전을 할 때 이 방법을 사용할 수 있습니다.
웹사이트를 진단하고, 오류를 해결하기 위한 방법은 일회성으로 끝나서는 안됩니다. 정기적으로 웹사이트의 오류를 해결하고, 적극적이고 빠르게 이에 대응하여 웹사이트 오류를 최소화하는 습관을 가지시기 바랍니다.
관련글: 위키피디아에서 모든 종류의 HTTP 상태 코드 목록 보기
